Học Tăng Cường là gì?

Học Tăng Cường (RL) là một nhánh của học máy, trong đó một tác nhân học cách đưa ra quyết định bằng cách tương tác với môi trường. Trong RL, mục tiêu của tác nhân là học một chính sách (một chiến lược) để chọn các hành động tối đa hóa phần thưởng tích lũy theo thời gian.

Khác với học có giám sát, vốn yêu cầu các ví dụ được gán nhãn, RL dựa vào phản hồi thử và sai: các hành động mang lại kết quả tích cực (phần thưởng) được củng cố, trong khi những hành động gây kết quả tiêu cực (hình phạt) thì bị tránh.

RL về cơ bản là "một phương pháp tính toán để hiểu và tự động hóa việc học và ra quyết định hướng tới mục tiêu" trong đó tác nhân học từ tương tác trực tiếp với môi trường, không cần giám sát bên ngoài hay mô hình hoàn chỉnh của thế giới.

— Sutton và Barto, các nhà nghiên cứu Học Tăng Cường

Trong thực tế, điều này có nghĩa là tác nhân liên tục khám phá không gian trạng thái - hành động, quan sát kết quả của các hành động và điều chỉnh chiến lược để cải thiện phần thưởng trong tương lai.

Các Khái Niệm và Thành Phần Chính

Học tăng cường bao gồm một số yếu tố cốt lõi. Nói chung, một tác nhân (người học hoặc thực thể ra quyết định) tương tác với một môi trường (hệ thống bên ngoài hoặc không gian vấn đề) bằng cách thực hiện các hành động tại các bước thời gian rời rạc.

Tại mỗi bước, tác nhân quan sát trạng thái hiện tại của môi trường, thực hiện một hành động, và sau đó nhận được phần thưởng (tín hiệu phản hồi số) từ môi trường. Qua nhiều lần tương tác như vậy, tác nhân tìm cách tối đa hóa tổng phần thưởng (tích lũy) của mình.

Các khái niệm và thành phần chính trong khung học tăng cường

Cách Thức Hoạt Động của Học Tăng Cường

RL thường được hình thức hóa như một quy trình quyết định Markov (MDP). Tại mỗi bước thời gian rời rạc, tác nhân quan sát trạng thái St và chọn hành động At. Môi trường sau đó chuyển sang trạng thái mới St+1 và phát ra phần thưởng Rt+1 dựa trên hành động đã thực hiện.

Qua nhiều tập hợp, tác nhân tích lũy kinh nghiệm dưới dạng chuỗi trạng thái – hành động – phần thưởng. Bằng cách phân tích các hành động dẫn đến phần thưởng cao hơn, tác nhân dần cải thiện chính sách của mình.

Ví dụ, một tác nhân học tăng cường điều khiển robot có thể thường xuyên chọn đường đi an toàn đã được chứng minh (khai thác) nhưng đôi khi thử một lối đi mới (khám phá) để có thể tìm ra đường nhanh hơn. Cân bằng sự đánh đổi này là điều cần thiết để tìm chính sách tối ưu.

RL "mô phỏng quá trình học thử và sai mà con người sử dụng". Một đứa trẻ có thể học rằng dọn dẹp sẽ được khen ngợi trong khi ném đồ chơi sẽ bị mắng; tương tự, tác nhân RL học được hành động nào mang lại phần thưởng bằng cách nhận phản hồi tích cực cho hành động tốt và phản hồi tiêu cực cho hành động xấu.

— Tài liệu AWS Machine Learning

Theo thời gian, tác nhân xây dựng các ước lượng giá trị hoặc chính sách phản ánh chuỗi hành động tốt nhất để đạt được mục tiêu dài hạn.

Trong thực tế, các thuật toán RL tích lũy phần thưởng qua các tập hợp và nhằm tối đa hóa lợi tức kỳ vọng (tổng phần thưởng tương lai). Chúng học cách ưu tiên các hành động dẫn đến phần thưởng cao trong tương lai, ngay cả khi các hành động đó có thể không mang lại phần thưởng ngay lập tức cao nhất. Khả năng lập kế hoạch cho lợi ích dài hạn (đôi khi chấp nhận hy sinh ngắn hạn) khiến RL phù hợp với các nhiệm vụ ra quyết định phức tạp, tuần tự.

Cách học tăng cường hoạt động trong thực tế

Các Loại Thuật Toán Học Tăng Cường

Có nhiều thuật toán để triển khai học tăng cường. Nói chung, chúng thuộc hai loại: phương pháp dựa trên mô hình và không dựa trên mô hình.

Trong các loại này, các thuật toán khác nhau về cách biểu diễn và cập nhật chính sách hoặc hàm giá trị. Ví dụ, Q-learning (phương pháp dựa trên giá trị) học ước lượng "giá trị Q" (lợi tức kỳ vọng) cho các cặp trạng thái - hành động và chọn hành động có giá trị cao nhất.

Các phương pháp chính sách-gradient trực tiếp tham số hóa chính sách và điều chỉnh tham số thông qua phép tăng dần gradient trên phần thưởng kỳ vọng. Nhiều phương pháp tiên tiến (như Actor-Critic hoặc Trust Region Policy Optimization) kết hợp ước lượng giá trị và tối ưu chính sách.

Trong học tăng cường sâu, các thuật toán như Deep Q-Networks (DQN) hoặc Deep Policy Gradients mở rộng RL đến các nhiệm vụ thực tế phức tạp.

Các thuật toán RL phổ biến bao gồm Q-learning, phương pháp Monte Carlo, phương pháp chính sách-gradient và học Temporal-Difference, và "Deep RL" đề cập đến việc sử dụng mạng nơ-ron sâu trong các phương pháp này.

— Tài liệu AWS Machine Learning

Các loại thuật toán học tăng cường

Ứng Dụng của Học Tăng Cường

Học tăng cường được áp dụng trong nhiều lĩnh vực mà việc ra quyết định tuần tự dưới sự không chắc chắn là quan trọng. Các ứng dụng chính bao gồm:

Ứng dụng của học tăng cường trong các ngành công nghiệp

Học Tăng Cường so với Các Phương Pháp Học Máy Khác

Học tăng cường là một trong ba mô hình chính của học máy (cùng với học có giám sát và học không giám sát), nhưng nó khác biệt rõ rệt về trọng tâm. Học có giám sát huấn luyện trên các cặp đầu vào - đầu ra có nhãn, trong khi học không giám sát tìm kiếm các mẫu trong dữ liệu không nhãn.

Ngược lại, RL không yêu cầu các ví dụ có nhãn về hành vi đúng. Thay vào đó, nó định nghĩa một mục tiêu thông qua tín hiệu phần thưởng và học bằng thử và sai. Trong RL, "dữ liệu huấn luyện" (các bộ trạng thái - hành động - phần thưởng) là tuần tự và phụ thuộc lẫn nhau, vì mỗi hành động ảnh hưởng đến trạng thái tương lai.

Nói đơn giản, học có giám sát dạy mô hình dự đoán gì; học tăng cường dạy tác nhân cách hành động. RL học bằng "củng cố tích cực" (phần thưởng) thay vì được chỉ cho câu trả lời đúng.

— Tổng quan Học Máy của IBM

Điều này làm cho RL đặc biệt mạnh mẽ cho các nhiệm vụ liên quan đến ra quyết định và điều khiển. Tuy nhiên, nó cũng có nghĩa RL có thể khó khăn hơn: không có phản hồi có nhãn, tác nhân phải tự khám phá các hành động tốt, thường đòi hỏi nhiều sự khám phá môi trường.

Học tăng cường so với các mô hình học máy khác

Thách Thức của Học Tăng Cường

Mặc dù mạnh mẽ, RL gặp phải các thách thức thực tiễn:

Thách thức trong triển khai học tăng cường

Kết Luận

Tóm lại, học tăng cường là một khung học tự động trong đó tác nhân học cách đạt mục tiêu bằng cách tương tác với môi trường và tối đa hóa phần thưởng tích lũy. Nó kết hợp các ý tưởng từ điều khiển tối ưu, lập trình động và tâm lý học hành vi, và là nền tảng của nhiều đột phá AI hiện đại.

Bằng cách định hình các vấn đề như các nhiệm vụ ra quyết định tuần tự có phản hồi, RL cho phép máy học các hành vi phức tạp một cách tự chủ, nối liền khoảng cách giữa học dựa trên dữ liệu và hành động hướng mục tiêu.