Wat is Reinforcement Learning?

Reinforcement Learning (RL) is een tak van machine learning waarbij een agent leert beslissingen te nemen door interactie met een omgeving. Bij RL is het doel van de agent om een beleid (een strategie) te leren voor het kiezen van acties die cumulatieve beloning in de loop van de tijd maximaliseren.

In tegenstelling tot supervised learning, dat gelabelde voorbeelden vereist, vertrouwt RL op trial-and-error feedback: acties die positieve uitkomsten (beloningen) opleveren worden versterkt, terwijl acties met negatieve resultaten (straffen) worden vermeden.

RL is in wezen "een computationele benadering om doelgericht leren en besluitvorming te begrijpen en te automatiseren" waarbij de agent leert door directe interactie met zijn omgeving, zonder externe supervisie of een volledig model van de wereld.

— Sutton en Barto, Reinforcement Learning onderzoekers

In de praktijk betekent dit dat de agent continu de toestand-actie ruimte verkent, de resultaten van zijn acties observeert en zijn strategie aanpast om toekomstige beloningen te verbeteren.

Kernbegrippen en Componenten

Reinforcement learning omvat verschillende kernonderdelen. In grote lijnen interacteert een agent (de lerende of beslissende entiteit) met een omgeving (het externe systeem of probleemgebied) door acties te ondernemen op discrete tijdstippen.

Bij elke stap observeert de agent de huidige toestand van de omgeving, voert een actie uit en ontvangt vervolgens een beloning (een numeriek feedbacksignaal) van de omgeving. Over vele interacties probeert de agent zijn totale (cumulatieve) beloning te maximaliseren.

Kernbegrippen en componenten van het reinforcement learning raamwerk

Hoe Reinforcement Learning Werkt

RL wordt vaak geformaliseerd als een Markov decision process (MDP). Bij elke discrete tijdstap observeert de agent een toestand St en kiest een actie At. De omgeving gaat vervolgens over naar een nieuwe toestand St+1 en geeft een beloning Rt+1 op basis van de genomen actie.

Over vele episodes verzamelt de agent ervaring in de vorm van toestand–actie–beloning reeksen. Door te analyseren welke acties tot hogere beloningen leidden, verbetert de agent geleidelijk zijn beleid.

Bijvoorbeeld, een reinforcement learning agent die een robot bestuurt, kan meestal een bewezen veilige route nemen (exploitatie) maar soms een nieuw pad proberen (exploratie) om mogelijk een snellere route te ontdekken. Het balanceren van deze afweging is essentieel om het optimale beleid te vinden.

RL "bootst het trial-and-error leerproces na dat mensen gebruiken". Een kind kan leren dat opruimen lof oplevert terwijl het gooien met speelgoed terechtwijzing oplevert; op dezelfde manier leert een RL-agent welke acties beloningen opleveren door positieve feedback voor goede acties en negatieve feedback voor slechte acties te ontvangen.

— AWS Machine Learning Documentatie

In de loop van de tijd bouwt de agent waarde schattingen of beleidsregels op die de beste reeks acties vastleggen om langetermijndoelen te bereiken.

In de praktijk accumuleren RL-algoritmen beloningen over episodes en streven ze naar het maximaliseren van de verwachte opbrengst (som van toekomstige beloningen). Ze leren voorkeur te geven aan acties die leiden tot hoge toekomstige beloningen, zelfs als die acties niet de hoogste onmiddellijke beloning opleveren. Dit vermogen om te plannen voor langetermijnwinst (soms met acceptatie van kortetermijnoffers) maakt RL geschikt voor complexe, sequentiële besluitvormingsproblemen.

Hoe reinforcement learning in de praktijk werkt

Soorten Reinforcement Learning Algoritmen

Er zijn veel algoritmen om reinforcement learning te implementeren. Globaal vallen ze in twee klassen: model-based en model-free methoden.

Binnen deze categorieën verschillen algoritmen in hoe ze het beleid of de waarde functie representeren en bijwerken. Bijvoorbeeld, Q-learning (een waardegerichte methode) leert schattingen van de "Q-waarden" (verwachte opbrengst) voor toestand-actie paren en kiest de actie met de hoogste waarde.

Policy-gradient methoden parametriseren het beleid direct en passen de parameters aan via gradient ascent op de verwachte beloning. Veel geavanceerde methoden (zoals Actor-Critic of Trust Region Policy Optimization) combineren waardeschatting en beleidsoptimalisatie.

In deep RL schalen algoritmen zoals Deep Q-Networks (DQN) of Deep Policy Gradients RL naar complexe taken in de echte wereld.

Veelvoorkomende RL-algoritmen zijn Q-learning, Monte Carlo methoden, policy-gradient methoden en Temporal-Difference learning, en "Deep RL" verwijst naar het gebruik van diepe neurale netwerken in deze methoden.

— AWS Machine Learning Documentatie

Soorten reinforcement learning algoritmen

Toepassingen van Reinforcement Learning

Reinforcement learning wordt toegepast in veel domeinen waar sequentiële besluitvorming onder onzekerheid cruciaal is. Belangrijke toepassingen zijn onder andere:

Toepassingen van reinforcement learning in diverse industrieën

Reinforcement Learning versus Andere Machine Learning

Reinforcement learning is een van de drie hoofdparadigma’s van machine learning (naast supervised en unsupervised learning), maar het verschilt sterk in focus. Supervised learning traint op gelabelde input-output paren, terwijl unsupervised learning patronen vindt in ongelabelde data.

In tegenstelling tot RL zijn gelabelde voorbeelden van correct gedrag niet vereist. In plaats daarvan definieert RL een doel via het beloningssignaal en leert door trial-and-error. Bij RL zijn de "trainingsdata" (toestand-actie-beloning tuples) sequentieel en onderling afhankelijk, omdat elke actie toekomstige toestanden beïnvloedt.

Simpel gezegd vertelt supervised learning een model wat het moet voorspellen; reinforcement learning leert een agent hoe te handelen. RL leert door "positieve versterking" (beloning) in plaats van door de juiste antwoorden te tonen.

— IBM Machine Learning Overzicht

Dit maakt RL bijzonder krachtig voor taken die besluitvorming en besturing omvatten. Het betekent echter ook dat RL uitdagender kan zijn: zonder gelabelde feedback moet de agent zelf goede acties ontdekken, wat vaak veel exploratie van de omgeving vereist.

Reinforcement learning versus andere machine learning paradigma’s

Uitdagingen van Reinforcement Learning

Ondanks zijn kracht kent RL praktische uitdagingen:

Uitdagingen bij de implementatie van reinforcement learning

Conclusie

Samenvattend is reinforcement learning een autonoom leerraamwerk waarbij een agent leert doelen te bereiken door interactie met zijn omgeving en het maximaliseren van cumulatieve beloning. Het combineert ideeën uit optimale besturing, dynamische programmering en gedragspsychologie, en vormt de basis van veel moderne AI-doorbraken.

Door problemen te kaderen als sequentiële besluitvormingsproblemen met feedback, stelt RL machines in staat complexe gedragingen zelfstandig te leren, waarmee de kloof tussen data-gedreven leren en doelgerichte actie wordt overbrugd.