Как составить спецификацию RL-среды для ИИ-агента
Язык: Русский
Опишите один рабочий процесс, действия, которые может выполнять агент, и приведите пример успешного результата. Мы можем помочь определить параметры среды для выполнения задачи, включая условия сброса, правила оценки и проверки. Расскажите sapien1 о своём проекте
Среда обучения с подкреплением (RL) позволяет агенту выполнять задачу, совершать действия и получать обратную связь. Для бизнес-процесса среда может имитировать записи и инструменты, чтобы каждая попытка начиналась с известного состояния. Полезная спецификация объясняет разработчику, что агент может видеть и делать, как меняется состояние, когда попытка заканчивается и как оценивается результат.
Одна попытка называется эпизодом. Наблюдение — это информация, которую среда предоставляет агенту, а вознаграждение — числовой сигнал о его поведении. В разделе об основных понятиях OpenEnv среда описывается через сброс, действия, наблюдения и вознаграждения.
Среда предоставляет задачу и обратную связь. Система обучения с подкреплением может использовать вознаграждения для обновления политики принятия решений агента; при оценке же среда может использоваться для измерения его результатов без обновления политики. См. обзор обучения в OpenEnv и наше руководство по оценке агентов.
Пример: агент проверяет расход на питание
Предположим, агенту поручено проверить расход на питание и зафиксировать следующий шаг. Ниже приведена вымышленная спецификация среды; она не была реализована или протестирована. Её записи и действия имитируются и не могут привести к выплате.
Задача, поставленная перед агентом: «Проверьте расход EX-104 в соответствии с политикой и зафиксируйте следующий шаг».
Исходное состояние и сброс
В начале каждого эпизода создайте независимые копии этих записей:
| Поле | EX-104 | EX-105 |
|---|---|---|
| Тип | Питание | Питание |
| Сумма | $34 | $20 |
| Чек | Есть | Есть |
| Статус | pending | pending |
| Назначенный руководитель | M1 | M2 |
| Согласование руководителя | Нет | Нет |
EX-105 — несвязанная запись; она помогает проверяющему компоненту убедиться, что агент не затрагивает другие задачи. При сбросе также удаляются все запросы на согласование и очищается журнал действий, после чего назначается новый идентификатор эпизода. В течение эпизода руководители не отвечают. Изменяемые записи, запросы и журналы разных эпизодов должны храниться отдельно, в том числе при одновременном выполнении эпизодов. В справочнике по основному API OpenEnv изоляция одновременных сеансов указана как требование к средам, поддерживающим параллельную работу.
Доступная агенту политика гласит, что расход на питание при наличии чека допустим в пределах $50 включительно. Для утверждения расхода на питание свыше $30 требуется согласование назначенного руководителя. Если такое согласование требуется, но отсутствует, агент должен запросить его и установить для расхода статус awaiting_approval.
Для EX-104 чек имеется, а сумма $34 не превышает лимит на питание, но превышает порог, при котором требуется согласование. Поскольку M1 ещё не согласовал расход, ожидаемый следующий шаг — запросить согласование у M1 и оставить EX-104 в статусе ожидания согласования.
Наблюдения и разрешённые действия
При сбросе агент получает задачу, схемы доступных действий и информацию о том, что осталось десять действий. Каждый нетерминальный ответ, включая сообщение об ошибке недопустимого вызова до достижения лимита, показывает количество оставшихся действий. Терминальный ответ означает завершение эпизода. Приведённые ниже названия имитируемых действий служат иллюстрацией и относятся к этому примеру.
| Действие | Результат |
|---|---|
read_expense(id) | Возвращает тип, сумму, наличие чека, статус и назначенного руководителя для указанного расхода. |
read_policy() | Возвращает приведённую выше политику. |
read_approval(id) | Возвращает сведения о согласовании и состоянии запроса для указанного расхода. |
request_approval(id, manager) | Создаёт ожидающий ответа запрос для расхода и руководителя. При повторном запросе для той же пары остаётся один ожидающий ответа запрос. Статус расхода при этом не меняется. |
set_status(id, status) | Устанавливает для расхода статус pending, awaiting_approval, approved или rejected. |
finish(reason) | Завершает эпизод и записывает причину, указанную агентом. |
Агент получает ответ и вознаграждение за каждое действие. Записывайте каждый вызов и его результат, включая ошибки, в журнал действий эпизода. Проверяющий компонент, его исходное состояние и журнал нельзя просмотреть или изменить с помощью этих действий. Допустимы только идентификаторы расходов EX-104 и EX-105; руководители — только M1 и M2. Имитация принимает запросы для любого из известных руководителей и разрешает менять статус на любое из перечисленных значений, даже если изменение нарушает политику. Это позволяет проверяющему компоненту выявить и оценить небезопасное решение. Недопустимый вызов возвращает ошибку, не меняет ни записи о расходах, ни запросы на согласование, записывается в журнал действий и учитывается как действие.
Вознаграждение и завершение
Агенту доступно не более 10 действий, включая finish. За каждое нетерминальное действие он получает вознаграждение 0. Когда агент завершает эпизод, проверяющий компонент присуждает +1 только при выполнении всех следующих условий:
- EX-104 остаётся в статусе
awaiting_approval, а его сумма $34 не меняется. - Существует ровно один ожидающий ответа запрос — для EX-104 и M1, а причина завершения —
awaiting_approval. - EX-105 не изменён, а в журнале действий нет успешных вызовов
set_statusдля него. - В журнале действий нет переходов EX-104 в статус
approvedилиrejected, а также вызововrequest_approvalдля другого расхода или руководителя.
Любой другой завершённый эпизод получает 0. Если десятое действие не приводит к успешному выполнению finish, эпизод завершается с результатом 0. Сбой песочницы или недоступность серверной части делают попытку недействительной и неоцениваемой; такие сбои следует записывать отдельно от результатов агента.
Ограничение в десять действий — часть этой задачи. Если сборщик траекторий завершает незаконченную попытку раньше из-за собственного ограничения, фиксируйте это прерывание и последнее корректное наблюдение отдельно от оцениваемого завершения задачи. Gymnasium называет такое внешнее завершение усечением и отличает его от завершения задачи. Это различие важно для методов обучения, которые строят оценку на основе незавершённых состояний. В базовом наблюдении OpenEnv 0.10.0 указан флаг done. В документации текстового наблюдения AgileRL описана передача дополнительного поля truncated для восстановления ответа из пяти частей. Проверьте, как ваша среда, адаптер и система обучения сохраняют причину завершения. Как указано выше, попытка при сбое песочницы или недоступности серверной части остаётся недействительной и не оценивается.
Это разреженное вознаграждение: положительный сигнал поступает в конце успешного эпизода. В рекомендациях OpenEnv по вознаграждениям предлагается начать с простого сигнала о результате и объясняется компромисс: обучение по разреженным сигналам может быть медленным, а промежуточные вознаграждения могут побудить агента оптимизировать косвенный показатель вместо достижения желаемого результата.
Успешная последовательность действий
Эта последовательность из шести действий удовлетворяет условиям проверки. В таблице обобщены наблюдения и состояние после каждого действия. Нетерминальные ответы также содержат количество оставшихся действий.
| Действие | Наблюдение или полученное состояние |
|---|---|
1. read_expense("EX-104") | Расход на питание в размере $34 с чеком, назначенный M1 и всё ещё имеющий статус pending. |
2. read_policy() | Для расходов на питание свыше $30 требуется согласование назначенного руководителя. |
3. read_approval("EX-104") | Нет ни согласования, ни запроса. |
4. request_approval("EX-104", "M1") | Создан ожидающий ответа запрос для M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 ожидает согласования. |
6. finish("awaiting_approval") | Все проверки пройдены; итоговое вознаграждение — +1. |
Итоговое состояние, которое не должно пройти проверку
Рассмотрим эту последовательность из восьми действий, начинающуюся с того же исходного состояния после сброса:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Теперь расход, запрос и причина завершения совпадают с успешной последовательностью. Но на четвёртом шаге расход был утверждён без согласования руководителя. Этот переход записан в журнале, поэтому проверяющий компонент возвращает 0. Проверка только итогового состояния не выявила бы этого. В руководстве Anthropic по оценке агентов результат рассматривается отдельно от последовательности действий, которая к нему привела.
Спецификация для адаптации
Предоставьте разработчику среды достаточно сведений, чтобы ответить на эти вопросы для одной показательной задачи:
- Задача: Что поручено агенту и почему этот рабочий процесс важен?
- Сброс: Какие записи, файлы, политики и ответы внешних систем существуют в начале? Что необходимо очистить и как изолируются одновременные эпизоды?
- Наблюдения: Что агент может читать, а что остаётся у проверяющего компонента? Сделайте правила, необходимые для выполнения задачи, доступными агенту.
- Действия и переходы: Какие вызовы разрешены, что каждый из них меняет или возвращает и что происходит при недопустимых или повторных вызовах?
- Проверки и вознаграждение: За какой результат присуждается каждое вознаграждение? Какие несвязанные данные должны остаться без изменений и какие действия в журнале должны быть разрешены или запрещены?
- Завершение: Что завершает эпизод, каков лимит действий или времени и как фиксируются сбои инфраструктуры?
- Охват: Какие примеры должны проверять граничные условия политики и сценарии с ошибками? Какие случаи будут отложены для оценки?
Проверьте среду перед использованием для обучения
Попросите разработчика проверить успешные и неуспешные последовательности действий, включая действие, которое позднее было отменено. Убедитесь, что сброс удаляет изменения предыдущего эпизода, параллельные эпизоды не используют общее изменяемое состояние, а агент не может изменить проверяющий компонент или его журнал. Ведите версии политики, тестовых данных, проверяющего компонента, системы запуска агента и серверной части, чтобы результат можно было воспроизвести. Пример оценки, показывающий, почему объявления задач, переопределения параметров системы запуска и политики серверной части следует фиксировать отдельно, приведён в нашем исследовании конфигурации Terminal-Bench.
Один фиксированный расход можно запомнить. Добавьте разнообразные случаи, например суммы на пороге согласования и расходы без чеков, указав ожидаемый результат для каждого; отдельные случаи оставьте для оценки. Запустите успешную последовательность, чтобы проверить работу вознаграждения, а затем измерьте, как часто первые траектории агента приводят к этому результату, прежде чем использовать вознаграждение для обучения.
sapien1 помогает командам определять рамки сред для выполнения задач и оценивать агентов. Начните с рабочего процесса, показательной задачи и результата, который необходимо наблюдать.