การเรียนรู้แบบเสริมกำลังคืออะไร?

การเรียนรู้แบบเสริมกำลัง (RL) เป็นสาขาหนึ่งของการเรียนรู้ของเครื่องที่ ตัวแทน เรียนรู้ที่จะตัดสินใจโดยการโต้ตอบกับ สภาพแวดล้อม ใน RL เป้าหมายของตัวแทนคือการเรียนรู้ นโยบาย (กลยุทธ์) เพื่อเลือกการกระทำที่เพิ่มรางวัลสะสมให้สูงสุดในระยะยาว

แตกต่างจากการเรียนรู้แบบมีผู้สอนที่ต้องการตัวอย่างที่ติดป้ายกำกับ RL ใช้ การตอบกลับแบบลองผิดลองถูก: การกระทำที่ให้ผลลัพธ์บวก (รางวัล) จะได้รับการเสริมกำลัง ขณะที่การกระทำที่ให้ผลลัพธ์ลบ (การลงโทษ) จะถูกหลีกเลี่ยง

RL คือ "แนวทางเชิงคำนวณเพื่อเข้าใจและทำให้อัตโนมัติการเรียนรู้และการตัดสินใจที่มุ่งเป้าหมาย" ซึ่งตัวแทนเรียนรู้จากการโต้ตอบโดยตรงกับสภาพแวดล้อมโดยไม่ต้องการการควบคุมภายนอกหรือแบบจำลองโลกที่สมบูรณ์

— Sutton และ Barto, นักวิจัย Reinforcement Learning

ในทางปฏิบัติ หมายความว่าตัวแทนจะสำรวจพื้นที่สถานะ-การกระทำอย่างต่อเนื่อง สังเกตผลลัพธ์ของการกระทำ และปรับกลยุทธ์เพื่อเพิ่มรางวัลในอนาคต

แนวคิดและองค์ประกอบหลัก

การเรียนรู้แบบเสริมกำลังประกอบด้วยองค์ประกอบหลักหลายอย่าง โดยทั่วไป ตัวแทน (ผู้เรียนหรือหน่วยตัดสินใจ) จะโต้ตอบกับ สภาพแวดล้อม (ระบบภายนอกหรือพื้นที่ปัญหา) โดยการทำ การกระทำ ในช่วงเวลาที่กำหนด

ในแต่ละขั้นตอน ตัวแทนจะสังเกต สถานะ ปัจจุบันของสภาพแวดล้อม ทำการกระทำ และได้รับ รางวัล (สัญญาณตอบกลับเชิงตัวเลข) จากสภาพแวดล้อม จากการโต้ตอบหลายครั้ง ตัวแทนจะพยายามเพิ่มรางวัลรวม (สะสม) ให้สูงสุด

แนวคิดและองค์ประกอบหลักของกรอบการเรียนรู้แบบเสริมกำลัง

การทำงานของการเรียนรู้แบบเสริมกำลัง

RL มักถูกนิยามเป็น กระบวนการตัดสินใจแบบมาร์คอฟ (MDP) ในแต่ละช่วงเวลาที่กำหนด ตัวแทนสังเกตสถานะ St และเลือกการกระทำ At จากนั้นสภาพแวดล้อมจะเปลี่ยนไปยังสถานะใหม่ St+1 และให้รางวัล Rt+1 ตามการกระทำที่ทำ

จากหลายตอน ตัวแทนสะสมประสบการณ์ในรูปแบบลำดับสถานะ–การกระทำ–รางวัล โดยวิเคราะห์ว่าการกระทำใดนำไปสู่รางวัลสูงขึ้น ตัวแทนจึงค่อย ๆ ปรับปรุงนโยบายของตน

ตัวอย่างเช่น ตัวแทน RL ที่ควบคุมหุ่นยนต์อาจมักเลือกเส้นทางที่ปลอดภัยที่พิสูจน์แล้ว (การใช้ประโยชน์) แต่บางครั้งก็ลองเส้นทางใหม่ (การสำรวจ) เพื่อค้นหาเส้นทางที่เร็วกว่า การรักษาสมดุลนี้เป็นสิ่งสำคัญในการหานโยบายที่เหมาะสม

RL "เลียนแบบกระบวนการเรียนรู้แบบลองผิดลองถูกที่มนุษย์ใช้" เด็กอาจเรียนรู้ว่าการเก็บของจะได้รับคำชม ในขณะที่การโยนของเล่นจะถูกดุ เช่นเดียวกับตัวแทน RL ที่เรียนรู้ว่าการกระทำใดให้รางวัลโดยได้รับการตอบรับเชิงบวกสำหรับการกระทำที่ดีและเชิงลบสำหรับการกระทำที่ไม่ดี

— เอกสาร AWS Machine Learning

เมื่อเวลาผ่านไป ตัวแทนจะสร้างการประมาณค่าคุณค่าหรือนโยบายที่จับลำดับการกระทำที่ดีที่สุดเพื่อบรรลุเป้าหมายระยะยาว

ในทางปฏิบัติ อัลกอริทึม RL สะสมรางวัลในแต่ละตอนและมุ่งเพิ่ม ผลตอบแทนที่คาดหวัง (ผลรวมของรางวัลในอนาคต) พวกเขาเรียนรู้ที่จะชอบการกระทำที่นำไปสู่รางวัลสูงในอนาคต แม้ว่าการกระทำนั้นอาจไม่ให้รางวัลทันทีสูงสุด ความสามารถในการวางแผนเพื่อผลประโยชน์ระยะยาวนี้ (บางครั้งยอมรับการเสียสละระยะสั้น) ทำให้ RL เหมาะกับงานตัดสินใจที่ซับซ้อนและต่อเนื่อง

การทำงานของการเรียนรู้แบบเสริมกำลังในทางปฏิบัติ

ประเภทของอัลกอริทึมการเรียนรู้แบบเสริมกำลัง

มีอัลกอริทึมหลายแบบสำหรับการเรียนรู้แบบเสริมกำลัง โดยทั่วไปแบ่งเป็นสองประเภท: วิธี แบบมีแบบจำลอง และ แบบไม่มีแบบจำลอง

ในแต่ละประเภท อัลกอริทึมจะแตกต่างกันในวิธีแทนและปรับปรุงนโยบายหรือฟังก์ชันคุณค่า เช่น Q-learning (วิธีแบบฟังก์ชันคุณค่า) เรียนรู้การประมาณค่า "Q-value" (ผลตอบแทนที่คาดหวัง) สำหรับคู่สถานะ-การกระทำและเลือกการกระทำที่มีค่าสูงสุด

วิธี policy-gradient จะกำหนดพารามิเตอร์ของนโยบายโดยตรงและปรับพารามิเตอร์ผ่านการไต่ระดับความชันของรางวัลที่คาดหวัง วิธีขั้นสูงหลายแบบ (เช่น Actor-Critic หรือ Trust Region Policy Optimization) รวมการประมาณค่าคุณค่าและการปรับนโยบายเข้าด้วยกัน

ใน deep RL อัลกอริทึมเช่น Deep Q-Networks (DQN) หรือ Deep Policy Gradients ขยายขอบเขต RL ไปสู่ภารกิจจริงที่ซับซ้อน

อัลกอริทึม RL ที่พบบ่อยได้แก่ Q-learning, วิธี Monte Carlo, วิธี policy-gradient และ Temporal-Difference learning และ "Deep RL" หมายถึงการใช้เครือข่ายประสาทลึกในวิธีเหล่านี้

— เอกสาร AWS Machine Learning

ประเภทของอัลกอริทึมการเรียนรู้แบบเสริมกำลัง

การประยุกต์ใช้การเรียนรู้แบบเสริมกำลัง

การเรียนรู้แบบเสริมกำลังถูกนำไปใช้ในหลายสาขาที่การตัดสินใจต่อเนื่องภายใต้ความไม่แน่นอนเป็นสิ่งสำคัญ การประยุกต์หลักได้แก่:

การประยุกต์ใช้การเรียนรู้แบบเสริมกำลังในอุตสาหกรรมต่าง ๆ

การเรียนรู้แบบเสริมกำลังกับการเรียนรู้ของเครื่องแบบอื่น

การเรียนรู้แบบเสริมกำลังเป็นหนึ่งในสามแนวทางหลักของการเรียนรู้ของเครื่อง (ควบคู่กับการเรียนรู้แบบมีผู้สอนและไม่มีผู้สอน) แต่มีจุดเน้นที่แตกต่างกัน การเรียนรู้แบบมีผู้สอนฝึกด้วยคู่ข้อมูลป้อนเข้า-ผลลัพธ์ที่ติดป้ายกำกับ ขณะที่การเรียนรู้แบบไม่มีผู้สอนค้นหารูปแบบในข้อมูลที่ไม่มีป้ายกำกับ

ในทางตรงกันข้าม RL ไม่ ต้องการตัวอย่างที่ติดป้ายกำกับของพฤติกรรมที่ถูกต้อง แต่กำหนด เป้าหมาย ผ่านสัญญาณรางวัลและเรียนรู้โดยลองผิดลองถูก ใน RL "ข้อมูลฝึก" (ลำดับสถานะ-การกระทำ-รางวัล) เป็น ลำดับและพึ่งพาอาศัยกัน เพราะแต่ละการกระทำมีผลต่อสถานะในอนาคต

กล่าวง่าย ๆ การเรียนรู้แบบมีผู้สอนบอกโมเดลว่าจะทำนายอะไร ส่วนการเรียนรู้แบบเสริมกำลังสอนตัวแทนว่าจะทำอย่างไร RL เรียนรู้โดย "การเสริมกำลังเชิงบวก" (รางวัล) แทนที่จะถูกแสดงคำตอบที่ถูกต้อง

— ภาพรวมการเรียนรู้ของเครื่อง IBM

สิ่งนี้ทำให้ RL มีพลังสำหรับงานที่เกี่ยวข้องกับการตัดสินใจและการควบคุม อย่างไรก็ตามก็หมายความว่า RL อาจท้าทายกว่า: โดยไม่มีการตอบกลับที่ติดป้าย ตัวแทนต้องค้นหาการกระทำที่ดีด้วยตนเอง ซึ่งมักต้องการการสำรวจสภาพแวดล้อมอย่างมาก

การเรียนรู้แบบเสริมกำลังกับแนวทางการเรียนรู้ของเครื่องอื่น ๆ

ความท้าทายของการเรียนรู้แบบเสริมกำลัง

แม้จะมีพลัง แต่ RL ก็มีความท้าทายในทางปฏิบัติ:

ความท้าทายในการนำการเรียนรู้แบบเสริมกำลังไปใช้

สรุป

โดยสรุป การเรียนรู้แบบเสริมกำลังเป็น กรอบการเรียนรู้อิสระ ที่ตัวแทนเรียนรู้ที่จะบรรลุเป้าหมายโดยการโต้ตอบกับสภาพแวดล้อมและเพิ่มรางวัลสะสมให้สูงสุด มันผสมผสานแนวคิดจากการควบคุมเชิงเหมาะสม, การเขียนโปรแกรมเชิงไดนามิก และจิตวิทยาพฤติกรรม และเป็นรากฐานของความก้าวหน้าของ AI สมัยใหม่หลายอย่าง

โดยการกำหนดปัญหาเป็นงานตัดสินใจต่อเนื่องที่มีการตอบกลับ RL ช่วยให้เครื่องจักรเรียนรู้พฤติกรรมซับซ้อนด้วยตนเอง เชื่อมช่องว่างระหว่างการเรียนรู้จากข้อมูลและการกระทำที่มุ่งเป้าหมาย