Оценивайте ИИ-агента по задачам, которые он должен выполнять
Язык страницы: Русский
Представьте типичную задачу и результат, которого должен достичь ваш агент. Мы можем определить параметры теста с конкретными проверками и отчётом об успешных и неуспешных запусках, а также о запусках без оценки. Расскажите sapien1 о своём проекте
При оценке ИИ-агента проверяют, справится ли он с задачей, используя те же сведения и инструменты и соблюдая те же ограничения, с которыми столкнётся на практике. Определите ожидаемый результат, проверьте, что изменилось, и разберите шаги, которые привели к результату.
sapien1 помогает командам определять состав наборов задач, оценивать данные для проверок и разрабатывать среды для тестирования агентов. Начните с одного рабочего процесса и решения, для которого нужна оценка.
Превратите рабочий процесс в задачу для проверки
Для задачи нужны начальное состояние, запрос и наблюдаемые критерии успеха. Итоговое сообщение агента даёт лишь часть сведений. Созданные файлы, записи и состояние инструментов также могут показать, выполнена ли работа.
Руководство Anthropic по оценке агентов различает задачу, каждую попытку, средства оценивания, журнал выполнения и итоговое состояние среды. Это помогает понять, где произошёл сбой: в агенте, тесте или среде.
Представьте агента службы поддержки, которого попросили изменить адрес доставки. В тесте можно предоставить запись о заказе, запрос клиента и действующие правила. Проверки должны отражать реальную задачу:
| Часть задачи | Пример проверки |
|---|---|
| Определить заказ | Агент выбирает заказ, указанный в запросе |
| Применить правила | Решение соответствует заданным правилам и статусу заказа |
| Внести изменение | Если изменение разрешено, в записи о заказе появляется запрошенный адрес. В противном случае адрес остаётся прежним. |
| Сохранить остальные данные | Позиции заказа, их количество и посторонние записи остаются без изменений |
| Объяснить результат | Ответ точно описывает выполненное действие или перечисляет сведения, которых ещё не хватает |
Это пример постановки задачи. Подходящие проверки зависят от ваших правил и рабочего процесса.
Проверьте разрешение и состояние после действия
Допустим, пользователь разрешает агенту изменить адрес заказа A с 1 Example Lane на 2 Example Lane. Начальный адрес заказа B — 3 Example Lane, и этот заказ не входит в запрос. Заранее составленный вымышленный журнал показывает, что могла бы зафиксировать имитация проверки разрешений:
| Запрос агента к инструменту | Решение о разрешении | Зафиксированный результат |
|---|---|---|
| Заказ A: изменить адрес на 2 Example Lane | Разрешено | Изменение выполнено |
| Заказ B: изменить адрес на 4 Example Lane | Отклонено | Изменение заблокировано |
Журнал содержит и разрешённый запрос, и запрос за пределами разрешения. В примере проверка состояния показывает, что адрес заказа A изменился на 2 Example Lane, а адрес заказа B остался 3 Example Lane. Отклонённый запрос и выполненное изменение — разные результаты. Храните решение о разрешении и конечное состояние вместе с ответом агента.
Руководство Anthropic по оценке агентов отличает журнал выполнения попытки от состояния после неё. В рекомендациях AWS по разрешениям на использование инструментов описано, как проверять запросы агента к инструментам и анализировать решения о разрешении или отклонении. Вымышленный журнал иллюстрирует одну проверку и не доказывает безопасность системы.
Постройте тест на основе завершённого обращения
Допустим, в другой вымышленной истории поддержки зафиксирована следующая последовательность. В 10:00 подтверждённый владелец заказа A просит изменить адрес заказа с 1 Example Lane на 2 Example Lane. Заказ ещё готовится к отправке. Действующие правила требуют выполнить запрошенное подтверждённым владельцем изменение адреса до отправки. В 10:05 сотрудник поддержки отмечает, что адрес изменён.
Чтобы проверить решение на 10:00, дайте агенту запрос, исходное состояние заказа и правила, действовавшие в этот момент. Запустите инструменты тестирования из этого состояния. Пока агент выполняет задачу, заказ должен оставаться на этапе подготовки. Предоставьте отметку от 10:05 проверяющему и исключите её из начальных инструкций агенту и записей, доступных его инструментам в этом тесте. Иначе агент сможет увидеть готовый результат до того, как от него потребуют действовать.
По правилам, действовавшим в 10:00, проверяющий определяет ожидаемый результат. Итоговый адрес заказа A — 2 Example Lane. Установите также условие, что посторонние записи должны остаться без изменений. Отметка от 10:05 фиксирует итог. Оцените корректность действия по правилам. Если нельзя установить применимые правила или состояние до действия, отложите обращение для дополнительной проверки. Перед использованием реальных записей подтвердите, что у вас есть разрешение, и надлежащим образом обработайте чувствительные поля.
Руководство Inspect по наборам данных различает входные данные для модели и эталонный результат, который можно использовать при оценке. В нём также поясняется, что файлы примера можно скопировать в изолированную среду. Убедитесь, что сведения только для проверяющего не попали в инструкции, найденные материалы, ответы инструментов или файлы изолированной среды. Выполните эти проверки и тогда, когда эталонный результат задан отдельно.
Выберите доказательства, подходящие для решения
Проверяйте напрямую то, что можно наблюдать: изменённое поле, результат расчёта, созданный файл или успешно пройденный тест. Пользуйтесь письменными критериями, когда нужна человеческая оценка, например чтобы понять, ясно ли объяснение и обосновывает ли исследовательский ответ свой вывод.
Автоматизированное средство оценки помогает обрабатывать много результатов. Прежде чем полагаться на его баллы, сравните его решения с оценками людей на репрезентативных примерах. Фиксируйте расхождения, чтобы улучшить критерии или средство оценки.
Проверить, использует ли модель отрывок
Записывайте входные данные задачи, инструменты, конфигурацию агента и результаты. Повторяйте попытки, если разброс между запусками важен для решения. Разбирайте неудачи и неожиданные успехи. Высокий балл может отражать хорошую работу или скрывать недостаточно строгий тест. В руководстве Anthropic разобраны эти вопросы выбора средств оценки и планирования попыток.
Проверьте идентификаторы случаев перед подсчётом баллов
Когда вы создаёте случай из прошлых записей, сохраняйте его идентификатор и в ожидаемом результате, и в результате теста. Перед оценкой одного результата на случай сверьте оба файла со списком ожидаемых идентификаторов. Каждый ожидаемый идентификатор должен встретиться в каждом файле ровно один раз. Разберитесь с отсутствующими, дублирующимися и неожиданными идентификаторами. При повторных запусках записывайте также идентификатор каждой попытки.
Допустим, ожидаются случаи A и B. В каждом файле есть A и строка без идентификатора. Для A ожидаемый и фактический результаты различаются, а у двух строк без идентификатора метки совпадают. Объединение в pandas может сопоставить пропущенные ключи даже после успешной проверки отношения «один к одному». В объединённых строках получается одно совпадение на две пары. Только A соответствует ожидаемому идентификатору. В подмножестве с установленным идентификатором ноль совпадений на один случай, и охвачен один из двух ожидаемых случаев. Без идентификаторов неизвестно, относится ли какая-либо из двух строк к B, поэтому балл по обоим ожидаемым случаям определить нельзя. Если вы намеренно оцениваете подмножество, укажите его охват вместе с баллом.
Сравнение результатов бенчмарков
Интерпретируйте повторные попытки с учётом решения
Допустим, команда проверяет две задачи по три раза и перед каждой попыткой восстанавливает начальное состояние задачи. Проверки дают следующие вымышленные результаты:
| Задача | Первая попытка | Вторая попытка | Третья попытка |
|---|---|---|---|
| A | Успех | Неудача | Успех |
| B | Успех | Успех | Неудача |
Четыре из шести попыток прошли проверку. Каждая задача была выполнена хотя бы один раз, но ни одна не была выполнена во всех трёх попытках. Эти сводки отвечают на разные вопросы. Периодически получаемый правильный результат может быть полезен, если система способна надёжно проверить несколько вариантов и выбрать подходящий. Повторяемый успех важен, когда каждая попытка должна срабатывать сама по себе. Одна успешная попытка не делает остальные безопасными или корректными.
Теперь предположим, что седьмая попытка остановилась до оценки из-за подтверждённого внешнего сбоя изолированной среды. Четыре из шести оценённых попыток прошли проверку. Среди всех семи попыток подтверждены четыре успеха. Неоценённая попытка не считается ни подтверждённым успехом, ни подтверждённой ошибкой агента. Первая доля учитывает оценённые попытки. Вторая показывает подтверждённые успехи среди всех попыток. Другие веса задач или настройки метрики могут изменить итоговую оценку.
Эти числа описывают только вымышленные проверки выше и не определяют долю успеха в рабочей среде. Записывайте количество задач, число попыток на задачу, использованные проверки и попытки, признанные недействительными из-за проблем с инфраструктурой, например сбоя изолированной среды. Отделяйте такие попытки от ошибок агента и указывайте, какие попытки вошли в каждую сводку. Повторение одной задачи помогает оценить разброс в ней. Проверяйте также более широкий круг ситуаций. Руководство Anthropic по оценке агентов объясняет, для каких решений подходят метрики хотя бы одного успеха и устойчивого успеха.
Охват задач может измениться ещё до подсчёта баллов. В нашем анализе охвата эталонных результатов GDPval 185 из 220 открытых строк с задачами содержат хотя бы один путь к рабочему результату, подготовленному экспертом. Распределение по отраслям для этих строк отличается от распределения по всей таблице. Указанный путь не доказывает, что файл доступен или может быть отображён.
Используйте тестовую среду, когда действия меняют состояние
Если агент редактирует записи, работает с программами или использует несколько инструментов, ему нужна среда для этих действий. Воспроизводимая тестовая среда позволяет восстановить начальное состояние и проверить результат после запуска.
OpenEnv — открытый фреймворк для изолированных сред агентов. Выбирайте фреймворк после того, как определите задачу, доступные агенту сведения и действия и критерии успеха.
Пример различий в заявленных ресурсах можно найти в настройках ресурсов для 66 задач Terminal-Bench.
Постановка задачи для первой оценки
Опишите рабочий процесс, характерную задачу и признаки успешного результата. Добавьте инструменты агента, доступные ему сведения и ошибки, которые повлияют на решение о выпуске. Если у вас уже есть примеры, опишите их источник и охват.
В проекте с определёнными границами можно установить состав задач, требования к среде, правила оценки и порядок проверки результатов. Если не хватает самих примеров, начните с поиска и сбора данных.