Apakah Pembelajaran Penguatan?

Pembelajaran Penguatan (RL) adalah cabang pembelajaran mesin di mana agen belajar membuat keputusan dengan berinteraksi dengan persekitaran. Dalam RL, matlamat agen adalah untuk mempelajari polisi (strategi) bagi memilih tindakan yang memaksimumkan ganjaran terkumpul dari masa ke masa.

Berbeza dengan pembelajaran terawasi, yang memerlukan contoh berlabel, RL bergantung pada maklum balas cuba-dan-silap: tindakan yang menghasilkan hasil positif (ganjaran) diperkuatkan, manakala yang menghasilkan keputusan negatif (hukuman) dielakkan.

RL pada dasarnya adalah "pendekatan pengkomputeran untuk memahami dan mengautomasikan pembelajaran dan pembuatan keputusan berorientasikan matlamat" di mana agen belajar dari interaksi langsung dengan persekitarannya, tanpa memerlukan pengawasan luaran atau model lengkap dunia.

— Sutton dan Barto, Penyelidik Pembelajaran Penguatan

Dalam praktiknya, ini bermakna agen sentiasa meneroka ruang keadaan-tindakan, memerhati hasil tindakannya, dan menyesuaikan strateginya untuk meningkatkan ganjaran masa depan.

Konsep dan Komponen Utama

Pembelajaran penguatan melibatkan beberapa elemen teras. Secara umum, agen (pembelajar atau entiti pembuat keputusan) berinteraksi dengan persekitaran (sistem luaran atau ruang masalah) dengan mengambil tindakan pada langkah masa diskret.

Pada setiap langkah, agen memerhati keadaan semasa persekitaran, melaksanakan tindakan, dan kemudian menerima ganjaran (isyarat maklum balas berangka) dari persekitaran. Melalui banyak interaksi sebegini, agen berusaha memaksimumkan jumlah ganjarannya (terkumpul).

Konsep dan komponen utama rangka kerja pembelajaran penguatan

Cara Kerja Pembelajaran Penguatan

RL sering diformalkan sebagai proses keputusan Markov (MDP). Pada setiap langkah masa diskret, agen memerhati keadaan St dan memilih tindakan At. Persekitaran kemudian beralih ke keadaan baru St+1 dan mengeluarkan ganjaran Rt+1 berdasarkan tindakan yang diambil.

Melalui banyak episod, agen mengumpul pengalaman dalam bentuk urutan keadaan–tindakan–ganjaran. Dengan menganalisis tindakan yang membawa kepada ganjaran lebih tinggi, agen secara beransur-ansur memperbaiki polisi.

Contohnya, agen pembelajaran penguatan yang mengawal robot mungkin biasanya mengambil laluan selamat yang terbukti (eksploitasi) tetapi kadang-kadang mencuba laluan baru (eksplorasi) untuk berpotensi menemui laluan lebih cepat. Mengimbangi pertukaran ini penting untuk mencari polisi optimum.

RL "meniru proses pembelajaran cuba-dan-silap yang digunakan manusia". Seorang kanak-kanak mungkin belajar bahawa membersihkan mendapat pujian manakala membaling mainan mendapat teguran; begitu juga, agen RL belajar tindakan mana yang menghasilkan ganjaran dengan menerima maklum balas positif untuk tindakan baik dan maklum balas negatif untuk tindakan buruk.

— Dokumentasi Pembelajaran Mesin AWS

Seiring masa, agen membina anggaran nilai atau polisi yang menangkap urutan tindakan terbaik untuk mencapai matlamat jangka panjang.

Dalam praktik, algoritma RL mengumpul ganjaran sepanjang episod dan berusaha memaksimumkan pulangan yang dijangka (jumlah ganjaran masa depan). Mereka belajar memilih tindakan yang membawa ganjaran masa depan tinggi, walaupun tindakan itu mungkin tidak menghasilkan ganjaran segera tertinggi. Keupayaan merancang untuk keuntungan jangka panjang (kadang-kadang menerima pengorbanan jangka pendek) menjadikan RL sesuai untuk tugas keputusan berurutan yang kompleks.

Cara pembelajaran penguatan berfungsi dalam praktik

Jenis Algoritma Pembelajaran Penguatan

Terdapat banyak algoritma untuk melaksanakan pembelajaran penguatan. Secara umum, ia terbahagi kepada dua kelas: kaedah berasaskan model dan tanpa model.

Dalam kategori ini, algoritma berbeza dalam cara mereka mewakili dan mengemas kini polisi atau fungsi nilai. Contohnya, Q-learning (kaedah berasaskan nilai) mempelajari anggaran "nilai Q" (pulangan dijangka) untuk pasangan keadaan-tindakan dan memilih tindakan dengan nilai tertinggi.

Kaedah policy-gradient secara langsung memparametrikan polisi dan melaraskan parameternya melalui kenaikan kecerunan pada ganjaran dijangka. Banyak kaedah maju (seperti Actor-Critic atau Trust Region Policy Optimization) menggabungkan anggaran nilai dan pengoptimuman polisi.

Dalam RL mendalam, algoritma seperti Deep Q-Networks (DQN) atau Deep Policy Gradients mengembangkan RL ke tugas dunia nyata yang kompleks.

Algoritma RL biasa termasuk Q-learning, kaedah Monte Carlo, kaedah policy-gradient, dan pembelajaran Perbezaan Temporal, dan "Deep RL" merujuk kepada penggunaan rangkaian neural mendalam dalam kaedah ini.

— Dokumentasi Pembelajaran Mesin AWS

Jenis algoritma pembelajaran penguatan

Aplikasi Pembelajaran Penguatan

Pembelajaran penguatan digunakan dalam banyak domain di mana pembuatan keputusan berurutan di bawah ketidakpastian adalah penting. Aplikasi utama termasuk:

Aplikasi pembelajaran penguatan merentasi industri

Pembelajaran Penguatan vs. Pembelajaran Mesin Lain

Pembelajaran penguatan adalah salah satu daripada tiga paradigma utama pembelajaran mesin (bersama pembelajaran terawasi dan tidak terawasi), tetapi ia berbeza dari segi fokus. Pembelajaran terawasi melatih pada pasangan input-output berlabel, manakala pembelajaran tidak terawasi mencari corak dalam data tanpa label.

Berbeza dengan itu, RL tidak memerlukan contoh berlabel tingkah laku betul. Sebaliknya, ia mentakrifkan matlamat melalui isyarat ganjaran dan belajar melalui cuba dan silap. Dalam RL, "data latihan" (urutan keadaan-tindakan-ganjaran) adalah berurutan dan saling bergantung, kerana setiap tindakan mempengaruhi keadaan masa depan.

Secara ringkas, pembelajaran terawasi memberitahu model apa yang perlu diramalkan; pembelajaran penguatan mengajar agen bagaimana bertindak. RL belajar melalui "penguatan positif" (ganjaran) dan bukannya dengan ditunjukkan jawapan betul.

— Gambaran Keseluruhan Pembelajaran Mesin IBM

Ini menjadikan RL sangat berkuasa untuk tugas yang melibatkan pembuatan keputusan dan kawalan. Namun, ia juga bermakna RL boleh lebih mencabar: tanpa maklum balas berlabel, agen mesti menemui tindakan baik sendiri, sering memerlukan banyak eksplorasi persekitaran.

Pembelajaran penguatan vs paradigma pembelajaran mesin lain

Cabaran Pembelajaran Penguatan

Walaupun berkuasa, RL mempunyai cabaran praktikal:

Cabaran pelaksanaan pembelajaran penguatan

Kesimpulan

Secara ringkas, pembelajaran penguatan adalah rangka kerja pembelajaran autonomi di mana agen belajar mencapai matlamat dengan berinteraksi dengan persekitarannya dan memaksimumkan ganjaran terkumpul. Ia menggabungkan idea dari kawalan optimum, pengaturcaraan dinamik, dan psikologi tingkah laku, dan merupakan asas banyak pencapaian AI moden.

Dengan merangka masalah sebagai tugas pembuatan keputusan berurutan dengan maklum balas, RL membolehkan mesin belajar tingkah laku kompleks sendiri, merapatkan jurang antara pembelajaran berasaskan data dan tindakan berorientasikan matlamat.