การเรียนรู้แบบเสริมแรง (RL) เป็นสาขาหนึ่งของการเรียนรู้ของเครื่องที่ ตัวแทน เรียนรู้ที่จะตัดสินใจโดยการโต้ตอบกับ สภาพแวดล้อม ใน RL เป้าหมายของตัวแทนคือการเรียนรู้ นโยบาย (กลยุทธ์) สำหรับการเลือกการกระทำที่เพิ่มรางวัลสะสมให้สูงสุดในระยะยาว

แตกต่างจากการเรียนรู้แบบมีผู้สอนที่ต้องการตัวอย่างที่ติดป้ายกำกับ RL พึ่งพา การตอบกลับแบบลองผิดลองถูก: การกระทำที่ให้ผลลัพธ์เชิงบวก (รางวัล) จะได้รับการเสริมแรง ในขณะที่การกระทำที่ให้ผลลัพธ์เชิงลบ (การลงโทษ) จะถูกหลีกเลี่ยง

ตามที่ Sutton และ Barto อธิบาย RL คือ “วิธีการคำนวณเพื่อเข้าใจและทำให้อัตโนมัติการเรียนรู้และการตัดสินใจที่มุ่งเป้าหมาย” ซึ่งตัวแทนเรียนรู้จาก การโต้ตอบโดยตรง กับสภาพแวดล้อมโดยไม่ต้องการการควบคุมภายนอกหรือแบบจำลองโลกที่สมบูรณ์

ในทางปฏิบัติ หมายความว่าตัวแทนจะสำรวจพื้นที่สถานะ-การกระทำอย่างต่อเนื่อง สังเกตผลลัพธ์ของการกระทำ และปรับกลยุทธ์เพื่อเพิ่มรางวัลในอนาคต

แนวคิดและองค์ประกอบสำคัญ

การเรียนรู้แบบเสริมแรงประกอบด้วยองค์ประกอบหลักหลายอย่าง โดยทั่วไป ตัวแทน (ผู้เรียนหรือหน่วยตัดสินใจ) จะโต้ตอบกับ สภาพแวดล้อม (ระบบภายนอกหรือพื้นที่ปัญหา) โดยการทำ การกระทำ ในช่วงเวลาที่กำหนด

ในแต่ละขั้นตอน ตัวแทนจะสังเกต สถานะ ปัจจุบันของสภาพแวดล้อม ดำเนินการกระทำ และรับ รางวัล (สัญญาณตอบกลับเชิงตัวเลข) จากสภาพแวดล้อม จากการโต้ตอบเหล่านี้ ตัวแทนพยายามเพิ่มรางวัลรวม (สะสม) ให้สูงสุด แนวคิดสำคัญได้แก่:

• ตัวแทน: ผู้เรียนอิสระ (เช่น โปรแกรม AI หรือหุ่นยนต์) ที่ตัดสินใจ
• สภาพแวดล้อม: โลกหรือโดเมนปัญหาที่ตัวแทนโต้ตอบ สภาพแวดล้อมให้สถานะปัจจุบันแก่ตัวแทนและคำนวณรางวัลตามการกระทำของตัวแทน
• การกระทำ: การตัดสินใจหรือการเคลื่อนไหวที่ตัวแทนทำเพื่อมีอิทธิพลต่อสภาพแวดล้อม การกระทำต่าง ๆ อาจนำไปสู่สถานะและรางวัลที่แตกต่างกัน
• สถานะ: การแทนสภาพแวดล้อมในช่วงเวลาหนึ่ง (เช่น ตำแหน่งของชิ้นส่วนบนกระดานเกม หรือค่าการอ่านเซ็นเซอร์ในหุ่นยนต์) ตัวแทนใช้สถานะเพื่อกำหนดการกระทำถัดไป
• รางวัล: สัญญาณตอบกลับเชิงสเกลาร์ (บวก ลบ หรือศูนย์) ที่สภาพแวดล้อมให้หลังจากแต่ละการกระทำ ซึ่งแสดงถึงประโยชน์หรือค่าใช้จ่ายทันทีของการกระทำนั้น เป้าหมายของตัวแทนคือการเพิ่ม รางวัลสะสมที่คาดหวัง ให้สูงสุดในระยะยาว
• นโยบาย: กลยุทธ์ของตัวแทนในการเลือกการกระทำ โดยปกติเป็นการแมปจากสถานะไปยังการกระทำ ผ่านการเรียนรู้ ตัวแทนมุ่งหานโยบายที่เหมาะสมหรือใกล้เคียงที่สุด
• ฟังก์ชันคุณค่า (หรือผลตอบแทน): การประมาณค่ารางวัลในอนาคตที่คาดว่าจะได้รับจากสถานะหนึ่ง ๆ (หรือคู่สถานะ-การกระทำ) ฟังก์ชันนี้ช่วยตัวแทนประเมินผลลัพธ์ระยะยาวของการกระทำ
• แบบจำลอง (ไม่บังคับ): ใน RL แบบมีแบบจำลอง ตัวแทนสร้างแบบจำลองภายในของพลวัตสภาพแวดล้อม (การเปลี่ยนสถานะตามการกระทำ) และใช้แบบจำลองนี้วางแผน ใน RL แบบไม่มีแบบจำลอง ตัวแทนเรียนรู้จากประสบการณ์ลองผิดลองถูกโดยตรงโดยไม่สร้างแบบจำลอง

การทำงานของการเรียนรู้แบบเสริมแรง

RL มักถูกนิยามในรูปแบบ กระบวนการตัดสินใจแบบมาร์คอฟ (MDP) ในแต่ละช่วงเวลาที่กำหนด ตัวแทนจะสังเกตสถานะ St และเลือกการกระทำ At จากนั้นสภาพแวดล้อมจะเปลี่ยนไปยังสถานะใหม่ St+1 และให้รางวัล Rt+1 ตามการกระทำที่ทำ

ในหลาย ๆ รอบ ตัวแทนสะสมประสบการณ์ในรูปแบบลำดับสถานะ-การกระทำ-รางวัล โดยวิเคราะห์ว่าการกระทำใดนำไปสู่รางวัลสูงขึ้น ตัวแทนจะปรับปรุงนโยบายอย่างค่อยเป็นค่อยไป

สิ่งสำคัญคือ ปัญหา RL เกี่ยวข้องกับการแลกเปลี่ยนระหว่าง การสำรวจ และ การใช้ประโยชน์ ตัวแทนต้อง ใช้ประโยชน์ จากการกระทำที่รู้ว่าดีเพื่อรับรางวัล แต่ก็ต้อง สำรวจ การกระทำใหม่ ๆ ที่อาจนำไปสู่ผลลัพธ์ที่ดีกว่า

ตัวอย่างเช่น ตัวแทน RL ที่ควบคุมหุ่นยนต์อาจเลือกเส้นทางที่ปลอดภัยที่พิสูจน์แล้ว (การใช้ประโยชน์) แต่บางครั้งก็ลองเส้นทางใหม่ (การสำรวจ) เพื่อค้นหาเส้นทางที่เร็วกว่า การรักษาสมดุลนี้เป็นสิ่งจำเป็นสำหรับการหานโยบายที่เหมาะสมที่สุด

กระบวนการเรียนรู้นี้มักถูกเปรียบเทียบกับการปรับพฤติกรรม เช่น AWS ระบุว่า RL “เลียนแบบกระบวนการเรียนรู้แบบลองผิดลองถูกที่มนุษย์ใช้” เด็กอาจเรียนรู้ว่าการเก็บของเล่นได้รับคำชม ในขณะที่การขว้างของเล่นได้รับการตำหนิ เช่นเดียวกับตัวแทน RL ที่เรียนรู้ว่าการกระทำใดให้รางวัลโดยได้รับข้อเสนอแนะเชิงบวกสำหรับการกระทำที่ดีและข้อเสนอแนะเชิงลบสำหรับการกระทำที่ไม่ดี

เมื่อเวลาผ่านไป ตัวแทนจะสร้างการประมาณค่าคุณค่าหรือนโยบายที่จับลำดับการกระทำที่ดีที่สุดเพื่อบรรลุเป้าหมายระยะยาว

ในทางปฏิบัติ อัลกอริทึม RL จะสะสมรางวัลในแต่ละรอบและมุ่งหวังที่จะเพิ่ม ผลตอบแทนที่คาดหวัง (ผลรวมของรางวัลในอนาคต) พวกเขาเรียนรู้ที่จะชอบการกระทำที่นำไปสู่รางวัลในอนาคตสูง แม้ว่าการกระทำนั้นอาจไม่ให้รางวัลทันทีสูงสุด ความสามารถนี้ในการวางแผนเพื่อผลประโยชน์ระยะยาว (บางครั้งยอมรับการเสียสละระยะสั้น) ทำให้ RL เหมาะกับงานที่ต้องตัดสินใจต่อเนื่องและซับซ้อน

ประเภทของอัลกอริทึมการเรียนรู้แบบเสริมแรง

มีอัลกอริทึมหลายประเภทสำหรับการเรียนรู้แบบเสริมแรง โดยทั่วไปแบ่งออกเป็นสองกลุ่มหลักคือ แบบมีแบบจำลอง และ แบบไม่มีแบบจำลอง

• RL แบบมีแบบจำลอง: ตัวแทนเรียนรู้หรือรู้จักแบบจำลองของพลวัตสภาพแวดล้อม (การเปลี่ยนสถานะและการให้รางวัล) จากนั้นวางแผนการกระทำโดยการจำลองผลลัพธ์ เช่น หุ่นยนต์ที่สร้างแผนที่อาคารเพื่อหาทางลัดใช้วิธีแบบมีแบบจำลอง

• RL แบบไม่มีแบบจำลอง: ตัวแทนไม่มีแบบจำลองชัดเจนของสภาพแวดล้อมและเรียนรู้จากการลองผิดลองถูกในสภาพแวดล้อมจริงหรือจำลอง แทนที่จะวางแผนด้วยแบบจำลอง ตัวแทนจะปรับปรุงการประมาณค่าคุณค่าหรือนโยบายจากประสบการณ์ อัลกอริทึม RL คลาสสิกส่วนใหญ่ เช่น Q-learning หรือ Temporal-Difference learning เป็นแบบไม่มีแบบจำลอง

ในแต่ละกลุ่ม อัลกอริทึมจะแตกต่างกันในวิธีการแทนและปรับปรุงนโยบายหรือฟังก์ชันคุณค่า เช่น Q-learning (วิธีการแบบคุณค่า) จะเรียนรู้การประมาณ “ค่า Q” (ผลตอบแทนที่คาดหวัง) สำหรับคู่สถานะ-การกระทำ และเลือกการกระทำที่มีค่ามากที่สุด

วิธีการแบบนโยบายกราเดียนต์ จะกำหนดพารามิเตอร์ของนโยบายโดยตรงและปรับพารามิเตอร์ผ่านการไต่ระดับกราเดียนต์บนรางวัลที่คาดหวัง วิธีการขั้นสูงหลายวิธี เช่น Actor-Critic หรือ Trust Region Policy Optimization รวมการประมาณค่าคุณค่าและการปรับนโยบายเข้าด้วยกัน

การพัฒนาที่สำคัญในช่วงหลังคือ การเรียนรู้แบบเสริมแรงเชิงลึก ซึ่งใช้เครือข่ายประสาทเทียมลึกเป็นตัวประมาณฟังก์ชันคุณค่าหรือนโยบาย ทำให้ RL สามารถจัดการกับข้อมูลมิติสูง เช่น รูปภาพ ความสำเร็จของ DeepMind ในเกม Atari และเกมกระดาน (เช่น AlphaGo ในเกมโกะ) มาจากการผสมผสานการเรียนรู้เชิงลึกกับ RL ใน RL เชิงลึก อัลกอริทึมอย่าง Deep Q-Networks (DQN) หรือ Deep Policy Gradients ช่วยขยายขอบเขต RL ไปสู่ภารกิจจริงที่ซับซ้อน

ตัวอย่างเช่น AWS ระบุว่าอัลกอริทึม RL ที่พบบ่อยได้แก่ Q-learning, วิธี Monte Carlo, วิธีนโยบายกราเดียนต์ และ Temporal-Difference learning และ “Deep RL” หมายถึงการใช้เครือข่ายประสาทเทียมลึกในวิธีเหล่านี้

การประยุกต์ใช้การเรียนรู้แบบเสริมแรง

การเรียนรู้แบบเสริมแรงถูกนำไปใช้ในหลายสาขาที่การตัดสินใจต่อเนื่องภายใต้ความไม่แน่นอนเป็นสิ่งสำคัญ การประยุกต์ใช้หลักได้แก่:

• เกมและการจำลอง: RL มีชื่อเสียงในการชนะเกมและตัวจำลอง เช่น DeepMind’s AlphaGo และ AlphaZero ที่เรียนรู้โกะและหมากรุกในระดับเหนือมนุษย์ เกมวิดีโอ (Atari, StarCraft) และตัวจำลอง (ฟิสิกส์, หุ่นยนต์) เป็นสนามทดสอบ RL ที่เหมาะสมเพราะสภาพแวดล้อมชัดเจนและสามารถทดลองได้หลายครั้ง
• หุ่นยนต์และการควบคุม: หุ่นยนต์อัตโนมัติและรถยนต์ขับเคลื่อนเองเป็นตัวแทนในสภาพแวดล้อมที่เปลี่ยนแปลงได้ RL สามารถสอนหุ่นยนต์จับวัตถุหรือรถยนต์นำทางจราจรได้โดยลองผิดลองถูก IBM ระบุว่าหุ่นยนต์และรถยนต์ขับเคลื่อนเองเป็นตัวอย่างสำคัญของตัวแทน RL ที่เรียนรู้จากการโต้ตอบกับสภาพแวดล้อม
• ระบบแนะนำและการตลาด: RL สามารถปรับเนื้อหาหรือโฆษณาให้เหมาะกับผู้ใช้ตามการโต้ตอบ เช่น ระบบแนะนำที่ใช้ RL จะปรับคำแนะนำตามการคลิกหรือข้ามของผู้ใช้ เรียนรู้ที่จะนำเสนอสินค้าและโฆษณาที่เกี่ยวข้องมากที่สุดในระยะยาว
• การเพิ่มประสิทธิภาพทรัพยากร: RL เหมาะกับการเพิ่มประสิทธิภาพระบบที่มีเป้าหมายระยะยาว เช่น การปรับระบบระบายความร้อนในศูนย์ข้อมูลเพื่อลดการใช้พลังงาน ควบคุมการจัดเก็บพลังงานในโครงข่ายไฟฟ้าอัจฉริยะ หรือจัดการทรัพยากรคลาวด์ AWS อธิบายกรณีใช้งานเช่น “การเพิ่มประสิทธิภาพค่าใช้จ่ายคลาวด์” ที่ตัวแทน RL เรียนรู้การจัดสรรทรัพยากรคอมพิวเตอร์อย่างคุ้มค่าที่สุด
• การเงินและการซื้อขาย: ตลาดการเงินเป็นระบบที่เปลี่ยนแปลงและต่อเนื่อง RL ถูกนำมาศึกษาเพื่อเพิ่มประสิทธิภาพกลยุทธ์การซื้อขาย การบริหารพอร์ตโฟลิโอ และการป้องกันความเสี่ยงโดยการจำลองการซื้อขายและเรียนรู้ว่าการกระทำใดเพิ่มผลตอบแทนภายใต้การเปลี่ยนแปลงของตลาด

ตัวอย่างเหล่านี้เน้นย้ำความแข็งแกร่งของ RL ในการ วางแผนระยะยาว ต่างจากวิธีที่ทำนายผลลัพธ์ทันที RL มุ่งเน้นการเพิ่มรางวัลสะสมอย่างชัดเจน ทำให้เหมาะกับปัญหาที่การกระทำมีผลลัพธ์ล่าช้า

การเรียนรู้แบบเสริมแรงกับการเรียนรู้ของเครื่องแบบอื่น

การเรียนรู้แบบเสริมแรงเป็นหนึ่งในสามรูปแบบหลักของการเรียนรู้ของเครื่อง (ควบคู่กับการเรียนรู้แบบมีผู้สอนและไม่มีผู้สอน) แต่มีจุดเน้นที่แตกต่างกัน การเรียนรู้แบบมีผู้สอนฝึกด้วยคู่ข้อมูลป้อนเข้า-ผลลัพธ์ที่ติดป้ายกำกับ ในขณะที่การเรียนรู้แบบไม่มีผู้สอนค้นหารูปแบบในข้อมูลที่ไม่มีป้ายกำกับ

ในทางตรงกันข้าม RL ไม่ต้องการ ตัวอย่างที่ติดป้ายพฤติกรรมที่ถูกต้อง แต่กำหนด เป้าหมาย ผ่านสัญญาณรางวัลและเรียนรู้โดยลองผิดลองถูก ใน RL “ข้อมูลฝึก” (ชุดสถานะ-การกระทำ-รางวัล) เป็น ลำดับและพึ่งพาอาศัยกัน เพราะแต่ละการกระทำมีผลต่อสถานะในอนาคต

กล่าวง่าย ๆ การเรียนรู้แบบมีผู้สอนบอกโมเดลว่า อะไร ที่ต้องทำนาย ในขณะที่การเรียนรู้แบบเสริมแรงสอนตัวแทนว่า อย่างไร จะกระทำ ตามที่ภาพรวมของ IBM ระบุ RL เรียนรู้โดย “การเสริมแรงเชิงบวก” (รางวัล) แทนที่จะถูกบอกคำตอบที่ถูกต้อง

สิ่งนี้ทำให้ RL มีพลังอย่างยิ่งสำหรับงานที่เกี่ยวข้องกับการตัดสินใจและการควบคุม อย่างไรก็ตามก็หมายความว่า RL อาจท้าทายกว่า เพราะไม่มีข้อเสนอแนะที่ติดป้าย ตัวแทนต้องค้นหาการกระทำที่ดีด้วยตนเอง ซึ่งมักต้องสำรวจสภาพแวดล้อมอย่างกว้างขวาง

ความท้าทายของการเรียนรู้แบบเสริมแรง

แม้จะมีพลัง แต่ RL ก็มีความท้าทายในทางปฏิบัติหลายประการ:

• ประสิทธิภาพตัวอย่างต่ำ: RL มักต้องการ ประสบการณ์จำนวนมาก (การทดลอง) เพื่อเรียนรู้นโยบายที่มีประสิทธิภาพ การฝึกในโลกจริงอาจมีค่าใช้จ่ายสูงหรือช้า (เช่น หุ่นยนต์อาจต้องทดลองนับล้านครั้งเพื่อชำนาญงาน) ด้วยเหตุนี้ ระบบ RL หลายระบบจึงฝึกในสภาพแวดล้อมจำลองก่อนนำไปใช้จริง
• การออกแบบรางวัล: การกำหนดฟังก์ชันรางวัลที่เหมาะสมเป็นเรื่องยาก รางวัลที่เลือกไม่ดีอาจนำไปสู่พฤติกรรมที่ไม่ตั้งใจ (ตัวแทนอาจ “เล่นเกม” รางวัลในทางที่ไม่สอดคล้องกับเป้าหมายจริง) การออกแบบรางวัลที่สะท้อนเป้าหมายระยะยาวโดยไม่มีทางลัดที่ไม่ตั้งใจเป็นศิลปะในงานวิจัย RL
• ความมั่นคงและความปลอดภัย: ในสภาพแวดล้อมจริง (หุ่นยนต์, สุขภาพ, การเงิน) การกระทำสำรวจที่ไม่ปลอดภัยอาจเป็นอันตรายหรือมีค่าใช้จ่ายสูง AWS ระบุว่าการทดลองในโลกจริง (เช่น การบินโดรน) อาจไม่เหมาะสมหากไม่มีการจำลอง การรับประกันความปลอดภัยระหว่างการเรียนรู้และการใช้งานเป็นพื้นที่วิจัย RL ที่สำคัญ
• ความสามารถในการตีความ: นโยบาย RL ที่เรียนรู้ (โดยเฉพาะโมเดล RL เชิงลึก) อาจไม่โปร่งใส การเข้าใจว่าทำไมตัวแทนจึงเลือกการกระทำบางอย่างมักเป็นเรื่องยาก ทำให้ยากต่อการดีบักหรือเชื่อถือระบบ ปัญหาการตีความนี้ถือเป็นความท้าทายในการนำระบบ RL ที่ซับซ้อนไปใช้

ความท้าทายเหล่านี้เป็นหัวข้อการวิจัยอย่างต่อเนื่อง แม้จะมีอุปสรรค ความสำเร็จในทางปฏิบัติของ RL (ในเกม, หุ่นยนต์, ระบบแนะนำ ฯลฯ) แสดงให้เห็นว่าเมื่อใช้อย่างระมัดระวัง RL สามารถสร้างผลลัพธ์ที่น่าประทับใจ

>>>คลิกเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับ:

ปัญญาประดิษฐ์เชิงสร้างสรรค์คืออะไร?

Neural Network คืออะไร?

โดยสรุป การเรียนรู้แบบเสริมแรงเป็น กรอบการเรียนรู้อิสระ ที่ตัวแทนเรียนรู้ที่จะบรรลุเป้าหมายโดยการโต้ตอบกับสภาพแวดล้อมและเพิ่มรางวัลสะสมให้สูงสุด ผสมผสานแนวคิดจากการควบคุมเชิงเหมาะสม, การเขียนโปรแกรมเชิงพลวัต และจิตวิทยาพฤติกรรม และเป็นรากฐานของความก้าวหน้าทาง AI สมัยใหม่หลายอย่าง

โดยการกำหนดปัญหาเป็นงานตัดสินใจต่อเนื่องที่มีข้อเสนอแนะ RL ช่วยให้เครื่องจักรเรียนรู้พฤติกรรมซับซ้อนด้วยตนเอง เชื่อมช่องว่างระหว่างการเรียนรู้จากข้อมูลและการกระทำที่มุ่งเป้าหมาย