रिइन्फोर्समेंट लर्निंग (RL) मशीन लर्निंग की एक शाखा है जिसमें एक एजेंट पर्यावरण के साथ इंटरैक्ट करके निर्णय लेना सीखता है। RL में, एजेंट का उद्देश्य एक नीति (रणनीति) सीखना होता है जो समय के साथ संचयी पुरस्कार को अधिकतम करे।

सुपरवाइज्ड लर्निंग के विपरीत, जिसमें लेबल वाले उदाहरणों की आवश्यकता होती है, RL ट्रायल-एंड-एरर फीडबैक पर निर्भर करता है: वे क्रियाएँ जो सकारात्मक परिणाम (पुरस्कार) देती हैं उन्हें मजबूत किया जाता है, जबकि नकारात्मक परिणाम (दंड) देने वाली क्रियाओं से बचा जाता है।

जैसा कि सटन और बार्टो बताते हैं, RL मूल रूप से "लक्ष्य-उन्मुख सीखने और निर्णय लेने को समझने और स्वचालित करने के लिए एक संगणनात्मक दृष्टिकोण" है, जहाँ एजेंट अपने पर्यावरण के साथ प्रत्यक्ष इंटरैक्शन से सीखता है, बिना बाहरी पर्यवेक्षण या पूरी दुनिया के मॉडल की आवश्यकता के।

व्यवहार में, इसका मतलब है कि एजेंट लगातार स्थिति-क्रिया स्थान का अन्वेषण करता है, अपनी क्रियाओं के परिणामों को देखता है, और भविष्य के पुरस्कारों को बेहतर बनाने के लिए अपनी रणनीति समायोजित करता है।

मुख्य अवधारणाएँ और घटक

रिइन्फोर्समेंट लर्निंग में कई मूल तत्व शामिल होते हैं। सामान्य रूप से, एक एजेंट (शिक्षार्थी या निर्णय लेने वाली इकाई) एक पर्यावरण (बाहरी प्रणाली या समस्या क्षेत्र) के साथ इंटरैक्ट करता है और निश्चित समयांतराल पर क्रियाएँ करता है।

प्रत्येक चरण में एजेंट पर्यावरण की वर्तमान स्थिति देखता है, एक क्रिया करता है, और फिर पर्यावरण से पुरस्कार (एक संख्यात्मक फीडबैक संकेत) प्राप्त करता है। कई ऐसे इंटरैक्शन के दौरान, एजेंट अपने कुल (संचयी) पुरस्कार को अधिकतम करने का प्रयास करता है। मुख्य अवधारणाएँ हैं:

• एजेंट: स्वायत्त शिक्षार्थी (जैसे AI प्रोग्राम या रोबोट) जो निर्णय लेता है।
• पर्यावरण: वह दुनिया या समस्या क्षेत्र जिसके साथ एजेंट इंटरैक्ट करता है। पर्यावरण एजेंट को वर्तमान स्थिति प्रदान करता है और एजेंट की क्रिया के आधार पर पुरस्कार गणना करता है।
• क्रिया: एजेंट द्वारा पर्यावरण को प्रभावित करने के लिए लिया गया निर्णय या कदम। विभिन्न क्रियाएँ विभिन्न स्थितियों और पुरस्कारों की ओर ले जा सकती हैं।
• स्थिति: किसी दिए गए समय पर पर्यावरण का प्रतिनिधित्व (जैसे खेल बोर्ड पर टुकड़ों की स्थिति या रोबोट में सेंसर रीडिंग)। एजेंट अपनी अगली क्रिया तय करने के लिए स्थिति का उपयोग करता है।
• पुरस्कार: प्रत्येक क्रिया के बाद पर्यावरण द्वारा दिया गया एक स्केलर फीडबैक संकेत (सकारात्मक, नकारात्मक, या शून्य)। यह क्रिया के तत्काल लाभ (या लागत) को मापता है। एजेंट का लक्ष्य समय के साथ अपेक्षित संचयी पुरस्कार को अधिकतम करना है।
• नीति: क्रियाओं को चुनने के लिए एजेंट की रणनीति, जो आमतौर पर स्थितियों से क्रियाओं का मैपिंग होती है। सीखने के माध्यम से, एजेंट एक इष्टतम या लगभग इष्टतम नीति खोजने का प्रयास करता है।
• मूल्य फ़ंक्शन (या रिटर्न): अपेक्षित भविष्य के पुरस्कार (संचयी पुरस्कार) का अनुमान जो एजेंट किसी स्थिति (या स्थिति-क्रिया जोड़ी) से प्राप्त करेगा। मूल्य फ़ंक्शन एजेंट को क्रियाओं के दीर्घकालिक परिणामों का मूल्यांकन करने में मदद करता है।
• मॉडल (वैकल्पिक): मॉडल-आधारित RL में, एजेंट पर्यावरण की गतिशीलता (कैसे स्थितियाँ क्रियाओं के आधार पर बदलती हैं) का आंतरिक मॉडल बनाता है और इसका उपयोग योजना बनाने के लिए करता है। मॉडल-फ्री RL में, ऐसा कोई मॉडल नहीं बनाया जाता; एजेंट केवल ट्रायल-एंड-एरर अनुभव से सीखता है।

रिइन्फोर्समेंट लर्निंग कैसे काम करता है

RL को अक्सर मार्कोव निर्णय प्रक्रिया (MDP) के रूप में औपचारिक रूप दिया जाता है। प्रत्येक निश्चित समय चरण पर, एजेंट एक स्थिति St देखता है और एक क्रिया At चुनता है। इसके बाद पर्यावरण नई स्थिति St+1 में परिवर्तित होता है और क्रिया के आधार पर पुरस्कार Rt+1 प्रदान करता है।

कई एपिसोड के दौरान, एजेंट स्थिति-क्रिया-पुरस्कार अनुक्रमों के रूप में अनुभव जमा करता है। यह विश्लेषण करके कि कौन सी क्रियाओं ने अधिक पुरस्कार दिए, एजेंट धीरे-धीरे अपनी नीति में सुधार करता है।

महत्वपूर्ण रूप से, RL समस्याओं में अन्वेषण और शोषण के बीच संतुलन होता है। एजेंट को पुरस्कार पाने के लिए ज्ञात सर्वोत्तम क्रियाओं का शोषण करना होता है, लेकिन साथ ही नए क्रियाओं का अन्वेषण भी करना होता है जो बेहतर परिणाम दे सकते हैं।

उदाहरण के लिए, एक रिइन्फोर्समेंट लर्निंग एजेंट जो एक रोबोट को नियंत्रित करता है, आमतौर पर एक सुरक्षित मार्ग (शोषण) ले सकता है लेकिन कभी-कभी एक नया मार्ग (अन्वेषण) आज़माता है ताकि तेज़ रास्ता खोज सके। इस संतुलन को बनाए रखना इष्टतम नीति खोजने के लिए आवश्यक है।

सीखने की प्रक्रिया को अक्सर व्यवहारिक कंडीशनिंग से तुलना की जाती है। उदाहरण के लिए, AWS बताता है कि RL "ट्रायल-एंड-एरर सीखने की प्रक्रिया की नकल करता है जो मनुष्य उपयोग करते हैं"। एक बच्चा सीख सकता है कि सफाई करने पर प्रशंसा मिलती है जबकि खिलौने फेंकने पर डांट मिलती है; इसी तरह, RL एजेंट अच्छे कार्यों के लिए सकारात्मक और बुरे कार्यों के लिए नकारात्मक फीडबैक प्राप्त करके सीखता है।

समय के साथ, एजेंट मूल्य अनुमानों या नीतियों का निर्माण करता है जो दीर्घकालिक लक्ष्यों को प्राप्त करने के लिए सर्वोत्तम क्रियाओं के अनुक्रम को दर्शाती हैं।

व्यवहार में, RL एल्गोरिदम एपिसोड के दौरान पुरस्कार जमा करते हैं और अपेक्षित रिटर्न (भविष्य के पुरस्कारों का योग) को अधिकतम करने का लक्ष्य रखते हैं। वे उन क्रियाओं को प्राथमिकता देना सीखते हैं जो उच्च भविष्य के पुरस्कारों की ओर ले जाती हैं, भले ही वे तत्काल सबसे अधिक पुरस्कार न दें। दीर्घकालिक लाभ के लिए योजना बनाने की यह क्षमता (कभी-कभी अल्पकालिक बलिदान स्वीकार करते हुए) RL को जटिल, अनुक्रमिक निर्णय कार्यों के लिए उपयुक्त बनाती है।

रिइन्फोर्समेंट लर्निंग एल्गोरिदम के प्रकार

रिइन्फोर्समेंट लर्निंग को लागू करने के लिए कई एल्गोरिदम हैं। व्यापक रूप से, वे दो वर्गों में आते हैं: मॉडल-आधारित और मॉडल-फ्री विधियाँ।

• मॉडल-आधारित RL: एजेंट पहले पर्यावरण की गतिशीलता (कैसे स्थितियाँ बदलती हैं और पुरस्कार दिए जाते हैं) का मॉडल सीखता है या जानता है और फिर परिणामों का अनुकरण करके क्रियाओं की योजना बनाता है। उदाहरण के लिए, एक रोबोट जो किसी इमारत का नक्शा बनाकर सबसे छोटा मार्ग खोजता है, मॉडल-आधारित दृष्टिकोण का उपयोग कर रहा होता है।

• मॉडल-फ्री RL: एजेंट के पास पर्यावरण का कोई स्पष्ट मॉडल नहीं होता और वह केवल वास्तविक (या सिम्युलेटेड) पर्यावरण में ट्रायल-एंड-एरर से सीखता है। मॉडल के साथ योजना बनाने के बजाय, यह अनुभव से मूल्य अनुमानों या नीतियों को क्रमिक रूप से अपडेट करता है। अधिकांश क्लासिक RL एल्गोरिदम (जैसे Q-लर्निंग या टेम्पोरल-डिफरेंस लर्निंग) मॉडल-फ्री होते हैं।

इन वर्गों के भीतर, एल्गोरिदम नीति या मूल्य फ़ंक्शन को प्रस्तुत करने और अपडेट करने के तरीके में भिन्न होते हैं। उदाहरण के लिए, Q-लर्निंग (एक मूल्य-आधारित विधि) स्थिति-क्रिया जोड़ों के लिए "Q-मूल्य" (अपेक्षित रिटर्न) का अनुमान लगाता है और सबसे उच्च मूल्य वाली क्रिया चुनता है।

नीति-ग्रेडिएंट विधियाँ सीधे नीति को पैरामीटराइज़ करती हैं और अपेक्षित पुरस्कार पर ग्रेडिएंट आरोहण के माध्यम से इसके पैरामीटर समायोजित करती हैं। कई उन्नत विधियाँ (जैसे एक्टोर-क्रिटिक या ट्रस्ट रीजन पॉलिसी ऑप्टिमाइजेशन) मूल्य अनुमान और नीति अनुकूलन को संयोजित करती हैं।

एक प्रमुख हालिया विकास है डीप रिइन्फोर्समेंट लर्निंग। यहाँ, डीप न्यूरल नेटवर्क मूल्य फ़ंक्शन या नीतियों के लिए फ़ंक्शन अप्रोक्षिमेटर के रूप में कार्य करते हैं, जिससे RL उच्च-आयामी इनपुट जैसे छवियों को संभाल सकता है। DeepMind की सफलता जैसे Atari गेम्स और बोर्ड गेम्स (जैसे AlphaGo) डीप लर्निंग और RL के संयोजन से आई है। डीप RL में, एल्गोरिदम जैसे Deep Q-Networks (DQN) या Deep Policy Gradients RL को जटिल वास्तविक दुनिया के कार्यों तक विस्तारित करते हैं।

उदाहरण के लिए, AWS बताता है कि सामान्य RL एल्गोरिदम में Q-लर्निंग, मोंटे कार्लो विधियाँ, नीति-ग्रेडिएंट विधियाँ, और टेम्पोरल-डिफरेंस लर्निंग शामिल हैं, और "डीप RL" इन विधियों में डीप न्यूरल नेटवर्क के उपयोग को संदर्भित करता है।

रिइन्फोर्समेंट लर्निंग के अनुप्रयोग

रिइन्फोर्समेंट लर्निंग का उपयोग कई क्षेत्रों में किया जाता है जहाँ अनिश्चितता के तहत अनुक्रमिक निर्णय लेना महत्वपूर्ण होता है। प्रमुख अनुप्रयोग हैं:

• खेल और सिमुलेशन: RL ने खेलों और सिमुलेटरों में महारत हासिल की है। उदाहरण के लिए, DeepMind का AlphaGo और AlphaZero ने RL का उपयोग करके गो और शतरंज को सुपरह्यूमन स्तर पर सीखा। वीडियो गेम्स (Atari, StarCraft) और सिमुलेशन (भौतिकी, रोबोटिक्स सिमुलेटर) प्राकृतिक RL परीक्षण स्थल हैं क्योंकि पर्यावरण अच्छी तरह परिभाषित होता है और कई प्रयास संभव होते हैं।
• रोबोटिक्स और नियंत्रण: स्वायत्त रोबोट और सेल्फ-ड्राइविंग कारें गतिशील पर्यावरण में एजेंट होती हैं। ट्रायल-एंड-एरर के माध्यम से, RL एक रोबोट को वस्तुएं पकड़ना या कार को ट्रैफिक में नेविगेट करना सिखा सकता है। IBM बताता है कि रोबोट और सेल्फ-ड्राइविंग कारें RL एजेंट के प्रमुख उदाहरण हैं जो अपने पर्यावरण के साथ इंटरैक्ट करके सीखते हैं।
• सिफारिश प्रणाली और विपणन: RL उपयोगकर्ता इंटरैक्शन के आधार पर सामग्री या विज्ञापन को व्यक्तिगत बना सकता है। उदाहरण के लिए, एक RL-आधारित सिफारिशकर्ता उपयोगकर्ताओं के क्लिक या स्किप करने पर अपनी सिफारिशें अपडेट करता है, समय के साथ सबसे प्रासंगिक विज्ञापन या उत्पाद प्रस्तुत करना सीखता है।
• संसाधन अनुकूलन: RL उन प्रणालियों को अनुकूलित करने में उत्कृष्ट है जिनके दीर्घकालिक उद्देश्य होते हैं। उदाहरणों में डेटा-सेंटर कूलिंग को ऊर्जा उपयोग कम करने के लिए समायोजित करना, स्मार्ट-ग्रिड ऊर्जा भंडारण नियंत्रण, या क्लाउड कंप्यूटिंग संसाधनों का प्रबंधन शामिल है। AWS ऐसे उपयोग मामलों का वर्णन करता है जैसे "क्लाउड खर्च अनुकूलन", जहाँ RL एजेंट लागत दक्षता के लिए कंप्यूट संसाधनों का आवंटन सीखता है।
• वित्त और ट्रेडिंग: वित्तीय बाजार गतिशील और अनुक्रमिक होते हैं। RL का उपयोग ट्रेडिंग रणनीतियों, पोर्टफोलियो प्रबंधन, और हेजिंग को अनुकूलित करने के लिए किया गया है, ट्रेडों का सिमुलेशन करके और यह सीखकर कि कौन सी क्रियाएँ बाजार परिवर्तनों के तहत अधिकतम रिटर्न देती हैं।

ये उदाहरण RL की दीर्घकालिक योजना में ताकत को उजागर करते हैं। जो विधियाँ केवल तत्काल परिणामों की भविष्यवाणी करती हैं, उनके विपरीत, RL स्पष्ट रूप से संचयी पुरस्कार को अधिकतम करता है, जिससे यह उन समस्याओं के लिए उपयुक्त होता है जहाँ क्रियाओं के परिणाम विलंबित होते हैं।

रिइन्फोर्समेंट लर्निंग बनाम अन्य मशीन लर्निंग

रिइन्फोर्समेंट लर्निंग मशीन लर्निंग के तीन प्रमुख प्रतिमानों में से एक है (सुपरवाइज्ड और अनसुपरवाइज्ड लर्निंग के साथ), लेकिन इसका फोकस काफी अलग होता है। सुपरवाइज्ड लर्निंग लेबल वाले इनपुट-आउटपुट जोड़ों पर प्रशिक्षण करता है, जबकि अनसुपरवाइज्ड लर्निंग बिना लेबल वाले डेटा में पैटर्न खोजता है।

इसके विपरीत, RL को सही व्यवहार के लेबल वाले उदाहरणों की आवश्यकता नहीं होती। इसके बजाय, यह पुरस्कार संकेत के माध्यम से एक लक्ष्य निर्धारित करता है और ट्रायल-एंड-एरर से सीखता है। RL में "प्रशिक्षण डेटा" (स्थिति-क्रिया-पुरस्कार त्रय) अनुक्रमिक और परस्पर निर्भर होते हैं, क्योंकि प्रत्येक क्रिया भविष्य की स्थितियों को प्रभावित करती है।

सरल शब्दों में, सुपरवाइज्ड लर्निंग मॉडल को यह बताती है कि क्या भविष्यवाणी करनी है; रिइन्फोर्समेंट लर्निंग एजेंट को यह सिखाती है कि कैसे कार्य करना है। जैसा कि IBM के अवलोकन में कहा गया है, RL "सकारात्मक रिइन्फोर्समेंट" (पुरस्कार) द्वारा सीखता है न कि सही उत्तर दिखाकर।

यह RL को उन कार्यों के लिए विशेष रूप से शक्तिशाली बनाता है जिनमें निर्णय लेना और नियंत्रण शामिल होता है। हालांकि, इसका मतलब यह भी है कि RL अधिक चुनौतीपूर्ण हो सकता है: बिना लेबल वाले फीडबैक के, एजेंट को स्वयं अच्छे कार्य खोजने होते हैं, जिसके लिए पर्यावरण का व्यापक अन्वेषण आवश्यक होता है।

रिइन्फोर्समेंट लर्निंग की चुनौतियाँ

अपनी शक्ति के बावजूद, RL के व्यावहारिक चुनौतियाँ हैं:

• नमूना अक्षमता: RL को प्रभावी नीतियाँ सीखने के लिए अक्सर विशाल मात्रा में अनुभव (प्रयास) की आवश्यकता होती है। वास्तविक दुनिया में प्रशिक्षण महंगा या धीमा हो सकता है (उदाहरण के लिए, एक रोबोट को किसी कार्य में महारत हासिल करने के लिए लाखों प्रयासों की जरूरत हो सकती है)। इस कारण से, कई RL सिस्टम तैनाती से पहले सिमुलेशन में प्रशिक्षित किए जाते हैं।
• पुरस्कार डिजाइन: उपयुक्त पुरस्कार फ़ंक्शन परिभाषित करना जटिल होता है। गलत चुना गया पुरस्कार अनपेक्षित व्यवहारों को जन्म दे सकता है (एजेंट पुरस्कार को इस तरह "गेम" कर सकता है जो असली लक्ष्य के अनुरूप न हो)। दीर्घकालिक उद्देश्यों को पकड़ने वाले और अनपेक्षित शॉर्टकट से बचने वाले पुरस्कार डिजाइन करना RL अनुसंधान में एक कला है।
• स्थिरता और सुरक्षा: वास्तविक दुनिया की सेटिंग्स (रोबोटिक्स, स्वास्थ्य सेवा, वित्त) में असुरक्षित अन्वेषणात्मक क्रियाएँ खतरनाक या महंगी हो सकती हैं। AWS बताता है कि वास्तविक दुनिया में प्रयोग (जैसे ड्रोन उड़ाना) सिमुलेशन के बिना व्यावहारिक नहीं हो सकता। सीखने और तैनाती के दौरान सुरक्षा सुनिश्चित करना RL अनुसंधान का सक्रिय क्षेत्र है।
• व्याख्यात्मकता: सीखी गई RL नीतियाँ (विशेषकर डीप RL मॉडल) अस्पष्ट हो सकती हैं। यह समझना कठिन होता है कि एजेंट कुछ क्रियाएँ क्यों करता है, जिससे सिस्टम को डिबग या भरोसा करना मुश्किल हो जाता है। जटिल RL सिस्टम के लिए यह व्याख्यात्मकता की कमी एक तैनाती चुनौती के रूप में देखी जाती है।

इनमें से प्रत्येक चुनौती निरंतर अनुसंधान का विषय है। बाधाओं के बावजूद, RL की व्यावहारिक सफलताएँ (खेल, रोबोटिक्स, सिफारिश प्रणाली आदि में) दिखाती हैं कि सावधानीपूर्वक लागू करने पर RL प्रभावशाली परिणाम प्राप्त कर सकता है।

>>>अधिक जानने के लिए क्लिक करें:

जनरेटिव एआई क्या है?

न्यूरल नेटवर्क क्या है?

संक्षेप में, रिइन्फोर्समेंट लर्निंग एक स्वायत्त शिक्षण ढांचा है जिसमें एक एजेंट अपने पर्यावरण के साथ इंटरैक्ट करके और संचयी पुरस्कार को अधिकतम करके लक्ष्य प्राप्त करना सीखता है। यह इष्टतम नियंत्रण, डायनेमिक प्रोग्रामिंग, और व्यवहार मनोविज्ञान के विचारों को संयोजित करता है, और यह कई आधुनिक AI सफलताओं की नींव है।

समस्याओं को अनुक्रमिक निर्णय लेने के कार्यों के रूप में फ्रेम करके और फीडबैक के साथ, RL मशीनों को जटिल व्यवहार स्वयं सीखने में सक्षम बनाता है, डेटा-चालित सीखने और लक्ष्य-उन्मुख क्रिया के बीच की खाई को पाटता है।