Ano ang Reinforcement Learning?

Reinforcement Learning (RL) ay isang sangay ng machine learning kung saan ang isang ahente ay natututo gumawa ng mga desisyon sa pamamagitan ng pakikipag-ugnayan sa isang kapaligiran. Sa RL, ang layunin ng ahente ay matutunan ang isang polisiya (isang estratehiya) para pumili ng mga aksyon na nagpapalaki ng kabuuang gantimpala sa paglipas ng panahon.

Hindi tulad ng supervised learning na nangangailangan ng mga labeled na halimbawa, ang RL ay umaasa sa trial-and-error feedback: ang mga aksyon na nagdudulot ng positibong resulta (gantimpala) ay pinapalakas, habang ang mga nagreresulta ng negatibong epekto (parusa) ay iniiwasan.

Ang RL ay esensyal na "isang computational na paraan upang maunawaan at ma-automate ang pagkatuto at paggawa ng desisyon na nakatuon sa layunin" kung saan ang ahente ay natututo mula sa direktang pakikipag-ugnayan sa kanyang kapaligiran, nang hindi nangangailangan ng panlabas na superbisyon o kumpletong modelo ng mundo.

— Sutton at Barto, mga Mananaliksik ng Reinforcement Learning

Sa praktika, nangangahulugan ito na patuloy na ini-explore ng ahente ang state-action space, pinagmamasdan ang mga resulta ng kanyang mga aksyon, at inaayos ang kanyang estratehiya upang mapabuti ang mga susunod na gantimpala.

Mga Pangunahing Konsepto at Bahagi

Ang reinforcement learning ay may ilang pangunahing elemento. Sa pangkalahatan, isang ahente (ang nag-aaral o gumagawa ng desisyon) ay nakikipag-ugnayan sa isang kapaligiran (ang panlabas na sistema o problema) sa pamamagitan ng paggawa ng mga aksyon sa mga tiyak na oras.

Sa bawat hakbang, pinagmamasdan ng ahente ang kasalukuyang estado ng kapaligiran, isinasagawa ang isang aksyon, at tumatanggap ng gantimpala (isang numerikal na feedback signal) mula sa kapaligiran. Sa maraming ganitong interaksyon, nilalayon ng ahente na mapalaki ang kabuuang gantimpala.

Mga pangunahing konsepto at bahagi ng balangkas ng reinforcement learning

Paano Gumagana ang Reinforcement Learning

Karaniwang inilalarawan ang RL bilang isang Markov decision process (MDP). Sa bawat tiyak na oras, pinagmamasdan ng ahente ang estado St at pumipili ng aksyon At. Pagkatapos, lumilipat ang kapaligiran sa bagong estado St+1 at nagbibigay ng gantimpala Rt+1 base sa aksyon na ginawa.

Sa maraming episode, nakakalap ang ahente ng karanasan sa anyo ng mga state–action–reward sequence. Sa pagsusuri kung aling mga aksyon ang nagdulot ng mas mataas na gantimpala, unti-unting pinapabuti ng ahente ang kanyang polisiya.

Halimbawa, ang isang reinforcement learning agent na kumokontrol sa isang robot ay karaniwang dumadaan sa isang subok nang ligtas na ruta (exploitation) ngunit paminsan-minsan ay sumusubok ng bagong daan (exploration) upang matuklasan ang mas mabilis na ruta. Mahalaga ang balanse na ito para makahanap ng optimal na polisiya.

Ang RL ay "ginagaya ang proseso ng trial-and-error na pagkatuto na ginagamit ng mga tao". Maaaring matutunan ng isang bata na ang paglilinis ay nagdudulot ng papuri habang ang paghahagis ng mga laruan ay nagdudulot ng pagsaway; ganoon din, natututo ang RL agent kung aling mga aksyon ang nagdudulot ng gantimpala sa pamamagitan ng pagtanggap ng positibong feedback para sa magagandang aksyon at negatibong feedback para sa masamang aksyon.

— Dokumentasyon ng AWS Machine Learning

Sa paglipas ng panahon, bumubuo ang ahente ng mga pagtataya ng halaga o mga polisiya na naglalarawan ng pinakamahusay na pagkakasunod-sunod ng mga aksyon upang makamit ang pangmatagalang layunin.

Sa praktika, ang mga algorithm ng RL ay nag-iipon ng mga gantimpala sa mga episode at nilalayon na mapalaki ang inaasahang balik (kabuuan ng mga gantimpala sa hinaharap). Natututo silang paboran ang mga aksyon na nagdudulot ng mataas na gantimpala sa hinaharap, kahit na ang mga aksyong iyon ay maaaring hindi magbigay ng pinakamataas na agarang gantimpala. Ang kakayahang ito na magplano para sa pangmatagalang benepisyo (minsan ay tinatanggap ang panandaliang sakripisyo) ang dahilan kung bakit ang RL ay angkop para sa mga komplikado at sunud-sunod na gawain sa paggawa ng desisyon.

Paano gumagana ang reinforcement learning sa praktika

Mga Uri ng Algorithm ng Reinforcement Learning

Maraming algorithm ang ginagamit para ipatupad ang reinforcement learning. Sa pangkalahatan, nahahati ito sa dalawang klase: model-based at model-free na mga pamamaraan.

Sa loob ng mga kategoryang ito, nagkakaiba ang mga algorithm sa kung paano nila nire-representa at ina-update ang polisiya o value function. Halimbawa, ang Q-learning (isang value-based na pamamaraan) ay natututo ng mga pagtataya ng "Q-values" (inaasahang balik) para sa mga state-action pair at pinipili ang aksyon na may pinakamataas na halaga.

Ang mga policy-gradient na pamamaraan ay direktang nagpa-parameterize ng polisiya at inaayos ang mga parameter nito gamit ang gradient ascent sa inaasahang gantimpala. Maraming advanced na pamamaraan (tulad ng Actor-Critic o Trust Region Policy Optimization) ang pinagsasama ang pagtataya ng halaga at pag-optimize ng polisiya.

Sa deep RL, ang mga algorithm tulad ng Deep Q-Networks (DQN) o Deep Policy Gradients ay nagpapalawak ng RL sa mga komplikadong gawain sa totoong mundo.

Kabilang sa mga karaniwang RL algorithm ang Q-learning, Monte Carlo methods, policy-gradient methods, at Temporal-Difference learning, at ang "Deep RL" ay tumutukoy sa paggamit ng mga deep neural network sa mga pamamaraang ito.

— Dokumentasyon ng AWS Machine Learning

Mga uri ng algorithm ng reinforcement learning

Mga Aplikasyon ng Reinforcement Learning

Ang reinforcement learning ay ginagamit sa maraming larangan kung saan mahalaga ang sunud-sunod na paggawa ng desisyon sa ilalim ng kawalang-katiyakan. Kabilang sa mga pangunahing aplikasyon ang mga sumusunod:

Mga aplikasyon ng reinforcement learning sa iba't ibang industriya

Reinforcement Learning kumpara sa Ibang Machine Learning

Ang reinforcement learning ay isa sa tatlong pangunahing paradigma ng machine learning (kasama ang supervised at unsupervised learning), ngunit iba ang pokus nito. Ang supervised learning ay nagtuturo gamit ang mga labeled na input-output na pares, habang ang unsupervised learning ay naghahanap ng mga pattern sa unlabeled na datos.

Sa kabilang banda, ang RL ay hindi nangangailangan ng mga labeled na halimbawa ng tamang pag-uugali. Sa halip, tinutukoy nito ang isang layunin sa pamamagitan ng signal ng gantimpala at natututo sa trial and error. Sa RL, ang "training data" (state-action-reward tuples) ay sunud-sunod at magkakaugnay, dahil ang bawat aksyon ay nakakaapekto sa mga susunod na estado.

Sa madaling salita, ang supervised learning ay nagtuturo sa modelo kung ano ang hulaan; ang reinforcement learning ay nagtuturo sa ahente kung paano kumilos. Natututo ang RL sa pamamagitan ng "positibong reinforcement" (gantimpala) sa halip na ipakita ang tamang sagot.

— IBM Machine Learning Overview

Ginagawa nitong partikular na malakas ang RL para sa mga gawain na may kinalaman sa paggawa ng desisyon at kontrol. Gayunpaman, nangangahulugan din ito na maaaring maging mas mahirap ang RL: dahil walang labeled na feedback, kailangang tuklasin ng ahente ang mga magagandang aksyon nang mag-isa, na madalas nangangailangan ng maraming eksplorasyon sa kapaligiran.

Reinforcement learning kumpara sa ibang mga paradigma ng machine learning

Mga Hamon ng Reinforcement Learning

Sa kabila ng lakas nito, may mga praktikal na hamon ang RL:

Mga hamon sa pagpapatupad ng reinforcement learning

Konklusyon

Sa kabuuan, ang reinforcement learning ay isang autonomous na balangkas ng pagkatuto kung saan ang isang ahente ay natututo upang makamit ang mga layunin sa pamamagitan ng pakikipag-ugnayan sa kanyang kapaligiran at pagpapalaki ng kabuuang gantimpala. Pinagsasama nito ang mga ideya mula sa optimal control, dynamic programming, at behavioral psychology, at ito ang pundasyon ng maraming makabagong tagumpay sa AI.

Sa pamamagitan ng pag-frame ng mga problema bilang sunud-sunod na gawain sa paggawa ng desisyon na may feedback, pinapayagan ng RL ang mga makina na matuto ng mga komplikadong pag-uugali nang mag-isa, na nagbubuo ng tulay sa pagitan ng data-driven na pagkatuto at layuning nakatuon na aksyon.