Обучение с подкреплением (RL) — это раздел машинного обучения, в котором агент учится принимать решения, взаимодействуя с окружающей средой. В RL цель агента — выработать политику (стратегию) выбора действий, максимизирующую накопленное вознаграждение со временем.

В отличие от контролируемого обучения, которое требует размеченных примеров, RL опирается на обратную связь методом проб и ошибок: действия, приводящие к положительным результатам (вознаграждениям), усиливаются, а те, что вызывают отрицательные последствия (наказания), избегаются.

Как объясняют Саттон и Бартон, RL — это по сути «вычислительный подход к пониманию и автоматизации целенаправленного обучения и принятия решений», при котором агент учится через прямое взаимодействие с окружающей средой, без необходимости внешнего контроля или полной модели мира.

На практике это означает, что агент постоянно исследует пространство состояний и действий, наблюдает результаты своих действий и корректирует стратегию для улучшения будущих вознаграждений.

Ключевые понятия и компоненты

Обучение с подкреплением включает несколько основных элементов. В общих чертах, агент (обучающийся или принимающий решения субъект) взаимодействует с окружающей средой (внешней системой или областью задачи), выполняя действия в дискретные моменты времени.

На каждом шаге агент наблюдает текущее состояние среды, выполняет действие и получает вознаграждение (числовой сигнал обратной связи) от среды. За множество таких взаимодействий агент стремится максимизировать суммарное (накопленное) вознаграждение. Ключевые понятия включают:

• Агент: автономный обучающийся (например, программа ИИ или робот), принимающий решения.
• Среда: мир или предметная область, с которой взаимодействует агент. Среда предоставляет агенту текущее состояние и вычисляет вознаграждение на основе действия агента.
• Действие: решение или ход, предпринимаемый агентом для влияния на среду. Разные действия могут приводить к разным состояниям и вознаграждениям.
• Состояние: представление среды в данный момент времени (например, расположение фигур на игровой доске или показания датчиков робота). Агент использует состояние для выбора следующего действия.
• Вознаграждение: скалярный сигнал обратной связи (положительный, отрицательный или нулевой), выдаваемый средой после каждого действия. Он количественно оценивает непосредственную пользу (или затраты) действия. Цель агента — максимизировать ожидаемое накопленное вознаграждение со временем.
• Политика: стратегия агента по выбору действий, обычно отображение состояний в действия. В процессе обучения агент стремится найти оптимальную или близкую к оптимальной политику.
• Функция ценности (или возврата): оценка ожидаемого будущего вознаграждения (накопленного вознаграждения), которое агент получит из данного состояния (или пары состояние-действие). Функция ценности помогает агенту оценивать долгосрочные последствия действий.
• Модель (опционально): в модельном RL агент строит внутреннюю модель динамики среды (как состояния переходят при действиях) и использует её для планирования. В безмодельном RL такой модели нет; агент учится исключительно на основе опыта методом проб и ошибок.

Как работает обучение с подкреплением

RL часто формализуется как процесс принятия решений Маркова (MDP). На каждом дискретном шаге агент наблюдает состояние St и выбирает действие At. Среда затем переходит в новое состояние St+1 и выдает вознаграждение Rt+1 на основе выполненного действия.

За множество эпизодов агент накапливает опыт в виде последовательностей состояние–действие–вознаграждение. Анализируя, какие действия приводят к более высоким вознаграждениям, агент постепенно улучшает свою политику.

Ключевой особенностью RL является компромисс между исследованием и использованием. Агент должен использовать лучшие известные действия для получения вознаграждения, но также исследовать новые действия, которые могут привести к еще лучшим результатам.

Например, агент обучения с подкреплением, управляющий роботом, обычно выбирает проверенный безопасный маршрут (использование), но иногда пробует новый путь (исследование), чтобы потенциально найти более быстрый маршрут. Балансировка этого компромисса необходима для поиска оптимальной политики.

Процесс обучения часто сравнивают с поведенческим обусловливанием. Например, AWS отмечает, что RL «имитирует процесс обучения методом проб и ошибок, который используют люди». Ребенок может научиться, что уборка вызывает похвалу, а бросание игрушек — порицание; аналогично агент RL учится, какие действия приносят вознаграждение, получая положительную обратную связь за хорошие действия и отрицательную — за плохие.

Со временем агент формирует оценки ценности или политики, отражающие лучшую последовательность действий для достижения долгосрочных целей.

На практике алгоритмы RL накапливают вознаграждения за эпизоды и стремятся максимизировать ожидаемый возврат (сумму будущих вознаграждений). Они учатся предпочитать действия, ведущие к высоким будущим вознаграждениям, даже если эти действия не приносят максимального немедленного вознаграждения. Эта способность планировать долгосрочную выгоду (иногда принимая краткосрочные жертвы) делает RL подходящим для сложных последовательных задач принятия решений.

Типы алгоритмов обучения с подкреплением

Существует множество алгоритмов для реализации обучения с подкреплением. В целом их можно разделить на две категории: модельные и безмодельные методы.

• Модельное RL: агент сначала изучает или знает модель динамики среды (как меняются состояния и как выдаются вознаграждения), а затем планирует действия, моделируя результаты. Например, робот, прокладывающий маршрут по зданию для поиска кратчайшего пути, использует модельный подход.

• Безмодельное RL: агент не имеет явной модели среды и учится исключительно методом проб и ошибок в реальной (или симулированной) среде. Вместо планирования с моделью он постепенно обновляет оценки ценности или политики на основе опыта. Большинство классических алгоритмов RL (например, Q-обучение или обучение с временной разницей) являются безмодельными.

Внутри этих категорий алгоритмы различаются способом представления и обновления политики или функции ценности. Например, Q-обучение (метод на основе ценности) изучает оценки «Q-значений» (ожидаемого возврата) для пар состояние-действие и выбирает действие с наивысшим значением.

Методы градиента политики напрямую параметризуют политику и корректируют её параметры с помощью градиентного подъема по ожидаемому вознаграждению. Многие продвинутые методы (например, Actor-Critic или Trust Region Policy Optimization) сочетают оценку ценности и оптимизацию политики.

Важным недавним достижением является глубокое обучение с подкреплением. Здесь глубокие нейронные сети выступают в роли аппроксиматоров функций ценности или политик, позволяя RL работать с высокоразмерными входными данными, такими как изображения. Успехи DeepMind в играх Atari и настольных играх (например, AlphaGo в го) связаны с объединением глубокого обучения и RL. В глубоком RL алгоритмы, такие как Deep Q-Networks (DQN) или Deep Policy Gradients, масштабируют RL для сложных реальных задач.

Например, AWS отмечает, что распространённые алгоритмы RL включают Q-обучение, методы Монте-Карло, методы градиента политики и обучение с временной разницей, а «глубокое RL» относится к использованию глубоких нейронных сетей в этих методах.

Применение обучения с подкреплением

Обучение с подкреплением применяется во многих областях, где важны последовательное принятие решений в условиях неопределённости. Основные области применения включают:

• Игры и симуляции: RL прославилось благодаря освоению игр и симуляторов. Например, AlphaGo и AlphaZero от DeepMind достигли сверхчеловеческого уровня в го и шахматах с помощью RL. Видеоигры (Atari, StarCraft) и симуляторы (физические, робототехнические) являются естественными тестовыми площадками для RL, поскольку среда хорошо определена и возможны многочисленные пробы.
• Робототехника и управление: Автономные роботы и беспилотные автомобили — агенты в динамичных средах. Методом проб и ошибок RL может научить робота захватывать объекты или автомобиль — ориентироваться в потоке. IBM отмечает, что роботы и беспилотники — яркие примеры агентов RL, обучающихся через взаимодействие с окружающей средой.
• Рекомендательные системы и маркетинг: RL может персонализировать контент или рекламу на основе взаимодействия пользователей. Например, рекомендатель на основе RL обновляет предложения по мере того, как пользователи кликают или пропускают элементы, обучаясь показывать наиболее релевантные объявления или товары.
• Оптимизация ресурсов: RL отлично подходит для оптимизации систем с долгосрочными целями. Примеры включают регулирование охлаждения дата-центров для минимизации энергопотребления, управление накопителями энергии в умных сетях или распределение ресурсов облачных вычислений. AWS описывает кейсы, такие как «оптимизация затрат в облаке», где агент RL учится эффективно распределять вычислительные ресурсы.
• Финансы и торговля: Финансовые рынки динамичны и последовательны. RL исследуется для оптимизации торговых стратегий, управления портфелем и хеджирования, моделируя сделки и обучаясь выбирать действия, максимизирующие доходность при изменениях рынка.

Эти примеры подчеркивают силу RL в долгосрочном планировании. В отличие от методов, предсказывающих только немедленные результаты, RL явно максимизирует накопленные вознаграждения, что делает его особенно подходящим для задач с отложенными последствиями действий.

Обучение с подкреплением и другие методы машинного обучения

Обучение с подкреплением — одна из трёх основных парадигм машинного обучения (наряду с контролируемым и неконтролируемым обучением), но существенно отличается по фокусу. Контролируемое обучение тренируется на размеченных парах вход-выход, а неконтролируемое — находит закономерности в неразмеченных данных.

В отличие от них, RL не требует размеченных примеров правильного поведения. Вместо этого он задаёт цель через сигнал вознаграждения и учится методом проб и ошибок. В RL «обучающие данные» (кортежи состояние-действие-вознаграждение) последовательны и взаимозависимы, поскольку каждое действие влияет на будущие состояния.

Проще говоря, контролируемое обучение говорит модели, что предсказывать; обучение с подкреплением учит агента, как действовать. Как отмечает обзор IBM, RL учится через «положительное подкрепление» (вознаграждение), а не через показ правильных ответов.

Это делает RL особенно мощным для задач, связанных с принятием решений и управлением. Однако это также означает, что RL может быть более сложным: без размеченной обратной связи агент должен самостоятельно открывать хорошие действия, что часто требует обширного исследования среды.

Проблемы обучения с подкреплением

Несмотря на свою мощь, RL сталкивается с практическими трудностями:

• Неэффективность выборки: RL часто требует огромного количества опыта (проб) для обучения эффективным политикам. Обучение в реальном мире может быть дорогим или медленным (например, роботу может понадобиться миллионы попыток, чтобы освоить задачу). По этой причине многие системы RL обучаются в симуляции перед внедрением.
• Проектирование функции вознаграждения: Определение подходящей функции вознаграждения — сложная задача. Неправильно выбранное вознаграждение может привести к нежелательному поведению (агент может «обманывать» систему вознаграждений, не достигая истинной цели). Создание вознаграждений, отражающих долгосрочные цели без нежелательных обходных путей, — это искусство в исследовании RL.
• Стабильность и безопасность: В реальных условиях (робототехника, здравоохранение, финансы) небезопасные исследовательские действия могут быть опасны или дорогостоящи. AWS отмечает, что эксперименты в реальном мире (например, полёт дрона) могут быть непрактичны без симуляции. Обеспечение безопасности во время обучения и внедрения — активная область исследований RL.
• Интерпретируемость: Обученные политики RL (особенно глубокие модели RL) могут быть непрозрачными. Понять, почему агент выбирает те или иные действия, часто сложно, что затрудняет отладку и доверие к системе. Эта проблема интерпретируемости является вызовом при внедрении сложных систем RL.

Каждая из этих проблем является предметом текущих исследований. Несмотря на трудности, практические успехи RL (в играх, робототехнике, рекомендательных системах и др.) показывают, что при аккуратном применении RL способен достигать впечатляющих результатов.

>>>Нажмите, чтобы узнать больше о:

Что такое генеративный ИИ?

Что такое нейронная сеть?

В заключение, обучение с подкреплением — это автономная обучающаяся система, в которой агент учится достигать целей, взаимодействуя с окружающей средой и максимизируя накопленное вознаграждение. Оно объединяет идеи оптимального управления, динамического программирования и поведенческой психологии и является основой многих современных прорывов в ИИ.

Формулируя задачи как последовательное принятие решений с обратной связью, RL позволяет машинам самостоятельно осваивать сложные поведения, преодолевая разрыв между обучением на данных и целенаправленными действиями.