Vad är förstärkningsinlärning?

Förstärkningsinlärning (RL) är en gren av maskininlärning där en agent lär sig fatta beslut genom att interagera med en omgivning. I RL är agentens mål att lära sig en policy (en strategi) för att välja handlingar som maximerar kumulativ belöning över tid.

Till skillnad från övervakad inlärning, som kräver märkta exempel, förlitar sig RL på feedback genom försök och misstag: handlingar som ger positiva resultat (belöningar) förstärks, medan de som ger negativa resultat (bestraffningar) undviks.

RL är i grunden "en beräkningsmetod för att förstå och automatisera målinriktad inlärning och beslutsfattande" där agenten lär sig genom direkt interaktion med sin omgivning, utan att kräva extern övervakning eller en fullständig modell av världen.

— Sutton och Barto, forskare inom förstärkningsinlärning

I praktiken innebär detta att agenten kontinuerligt utforskar tillstånds-handlingsutrymmet, observerar resultaten av sina handlingar och justerar sin strategi för att förbättra framtida belöningar.

Nyckelbegrepp och komponenter

Förstärkningsinlärning involverar flera kärnelement. I breda termer interagerar en agent (läraren eller beslutsfattaren) med en omgivning (det externa systemet eller problemområdet) genom att utföra handlingar vid diskreta tidpunkter.

Vid varje steg observerar agenten det aktuella tillståndet i omgivningen, utför en handling och får sedan en belöning (en numerisk återkopplingssignal) från omgivningen. Genom många sådana interaktioner strävar agenten efter att maximera sin totala (kumulativa) belöning.

Nyckelbegrepp och komponenter i förstärkningsinlärningsramverket

Hur förstärkningsinlärning fungerar

RL formaliseras ofta som en Markovbeslutsprocess (MDP). Vid varje diskret tidpunkt observerar agenten ett tillstånd St och väljer en handling At. Omgivningen övergår sedan till ett nytt tillstånd St+1 och ger en belöning Rt+1 baserat på den utförda handlingen.

Under många episoder samlar agenten erfarenhet i form av tillstånd–handling–belöning-sekvenser. Genom att analysera vilka handlingar som ledde till högre belöningar förbättrar agenten gradvis sin policy.

Till exempel kan en förstärkningsinlärningsagent som styr en robot vanligtvis ta en beprövad säker väg (utnyttjande) men ibland prova en ny väg (utforskning) för att potentiellt upptäcka en snabbare rutt. Att balansera denna avvägning är avgörande för att hitta den optimala policyn.

RL "imiterar den inlärningsprocess genom försök och misstag som människor använder". Ett barn kan lära sig att städa ger beröm medan att kasta leksaker ger skäll; på samma sätt lär sig en RL-agent vilka handlingar som ger belöningar genom att få positiv återkoppling för bra handlingar och negativ återkoppling för dåliga.

— AWS Machine Learning Documentation

Med tiden konstruerar agenten värdeuppskattningar eller policies som fångar den bästa sekvensen av handlingar för att uppnå långsiktiga mål.

I praktiken ackumulerar RL-algoritmer belöningar över episoder och strävar efter att maximera det förväntade utfallet (summan av framtida belöningar). De lär sig att föredra handlingar som leder till höga framtida belöningar, även om dessa handlingar kanske inte ger den högsta omedelbara belöningen. Denna förmåga att planera för långsiktig vinning (ibland acceptera kortsiktiga uppoffringar) gör RL lämpligt för komplexa, sekventiella beslutsuppgifter.

Hur förstärkningsinlärning fungerar i praktiken

Typer av förstärkningsinlärningsalgoritmer

Det finns många algoritmer för att implementera förstärkningsinlärning. I stora drag delas de in i två klasser: modellbaserade och modellfria metoder.

Inom dessa kategorier skiljer sig algoritmer i hur de representerar och uppdaterar policyn eller värdefunktionen. Till exempel lär sig Q-learning (en värdebaserad metod) uppskattningar av "Q-värden" (förväntat utfall) för tillstånd-handlingspar och väljer handlingen med högst värde.

Policy-gradient-metoder parameteriserar policyn direkt och justerar dess parametrar via gradientuppgång på förväntad belöning. Många avancerade metoder (såsom Actor-Critic eller Trust Region Policy Optimization) kombinerar värdeuppskattning och policyoptimering.

I djup RL skalar algoritmer som Deep Q-Networks (DQN) eller Deep Policy Gradients RL till komplexa verkliga uppgifter.

Vanliga RL-algoritmer inkluderar Q-learning, Monte Carlo-metoder, policy-gradient-metoder och Temporal-Difference-inlärning, och "Deep RL" avser användningen av djupa neurala nätverk i dessa metoder.

— AWS Machine Learning Documentation

Typer av förstärkningsinlärningsalgoritmer

Tillämpningar av förstärkningsinlärning

Förstärkningsinlärning används inom många områden där sekventiellt beslutsfattande under osäkerhet är avgörande. Viktiga tillämpningar inkluderar:

Tillämpningar av förstärkningsinlärning inom olika branscher

Förstärkningsinlärning vs. annan maskininlärning

Förstärkningsinlärning är en av de tre stora paradigmerna inom maskininlärning (tillsammans med övervakad och oövervakad inlärning), men skiljer sig mycket i fokus. Övervakad inlärning tränar på märkta indata-utdata-par, medan oövervakad inlärning hittar mönster i omärkta data.

Tvärtom kräver inte RL märkta exempel på korrekt beteende. Istället definierar det ett mål via belöningssignalen och lär sig genom försök och misstag. I RL är "träningsdata" (tillstånd-handling-belöning-tupler) sekventiella och beroende av varandra, eftersom varje handling påverkar framtida tillstånd.

Enkelt uttryckt berättar övervakad inlärning för en modell vad den ska förutsäga; förstärkningsinlärning lär en agent hur den ska agera. RL lär sig genom "positiv förstärkning" (belöning) snarare än genom att visa korrekta svar.

— IBM Machine Learning Overview

Detta gör RL särskilt kraftfullt för uppgifter som involverar beslutsfattande och styrning. Men det innebär också att RL kan vara mer utmanande: utan märkt feedback måste agenten själv upptäcka bra handlingar, vilket ofta kräver mycket utforskning av omgivningen.

Förstärkningsinlärning jämfört med andra maskininlärningsparadigm

Utmaningar med förstärkningsinlärning

Trots sin kraft medför RL praktiska utmaningar:

Utmaningar vid implementering av förstärkningsinlärning

Slutsats

Sammanfattningsvis är förstärkningsinlärning ett autonomt inlärningsramverk där en agent lär sig att uppnå mål genom att interagera med sin omgivning och maximera kumulativ belöning. Det kombinerar idéer från optimal styrning, dynamisk programmering och beteendepsykologi, och är grunden för många moderna AI-genombrott.

Genom att formulera problem som sekventiella beslutsuppgifter med återkoppling möjliggör RL för maskiner att själva lära sig komplexa beteenden och överbrygga klyftan mellan datadriven inlärning och målinriktad handling.