본문으로 바로가기

메뉴

AI 에이전트의 RL 환경을 명세하는 방법

언어: 한국어

워크플로 하나와 에이전트가 취할 수 있는 조치, 성공적인 결과의 예를 알려 주세요. 초기화 조건, 채점 규칙, 점검 항목을 포함한 작업 환경의 범위를 정하는 데 도움을 드릴 수 있습니다. sapien1에 프로젝트를 설명하세요

강화학습(RL) 환경은 에이전트가 작업을 시도하고, 행동을 취하고, 피드백을 받는 공간을 제공합니다. 비즈니스 워크플로의 경우 환경에서 기록과 도구를 시뮬레이션해 매번 알려진 상태에서 시도를 시작할 수 있습니다. 유용한 명세는 에이전트가 무엇을 보고 할 수 있는지, 상태가 어떻게 바뀌는지, 시도가 언제 끝나는지, 결과를 어떻게 채점하는지 개발자에게 알려줍니다.

한 번의 시도를 에피소드라고 합니다. 관찰은 환경이 에이전트에 제공하는 정보이며, 보상은 에이전트의 행동에 관한 숫자 신호입니다. OpenEnv의 핵심 개념은 초기화, 행동, 관찰, 보상을 기준으로 환경을 설명합니다.

환경은 작업과 피드백을 제공합니다. RL 트레이너는 보상을 사용해 에이전트의 의사 결정 정책을 업데이트할 수 있습니다. 반면 평가에서는 정책을 업데이트하지 않고 환경을 사용해 에이전트를 측정할 수 있습니다. OpenEnv의 학습 개요와 에이전트 평가 가이드를 참고하세요.

예시: 에이전트의 식비 경비 검토

에이전트가 식비 경비를 검토하고 다음 단계를 기록해 달라는 요청을 받았다고 가정해 보겠습니다. 다음은 가상의 환경 명세이며, 구현하거나 테스트하지 않았습니다. 기록과 행동은 시뮬레이션된 것으로, 결제할 수 없습니다.

에이전트에 주어진 작업은 다음과 같습니다. “정책에 따라 경비 EX-104를 검토하고 다음 단계를 기록하세요.”

시작 상태와 초기화

각 에피소드가 시작될 때 다음 기록의 독립적인 사본을 만듭니다.

필드EX-104EX-105
유형식비식비
금액$34$20
영수증있음있음
상태pendingpending
담당 관리자M1M2
관리자 승인없음없음

EX-105는 관련 없는 기록으로, 에이전트가 다른 업무를 건드리지 않는지 검증기가 확인하는 데 도움이 됩니다. 초기화할 때 모든 승인 요청과 행동 로그도 지우고 새 에피소드 ID를 할당합니다. 에피소드가 진행되는 동안 관리자는 응답하지 않습니다. 에피소드가 동시에 실행되는 경우를 포함해 각 에피소드의 변경 가능한 기록, 요청, 로그는 서로 분리해야 합니다. OpenEnv의 핵심 API 참조 문서는 동시 실행 환경에서 동시 세션의 격리를 요구사항으로 설명합니다.

에이전트가 확인할 수 있는 정책에 따르면 영수증이 있는 식비는 $50까지 인정되며 $50도 포함됩니다. $30을 초과하는 식비는 승인하기 전에 담당 관리자의 승인이 필요합니다. 승인이 필요하지만 아직 받지 못한 경우 에이전트는 승인을 요청하고 경비 상태를 awaiting_approval로 설정해야 합니다.

EX-104에는 영수증이 있고 $34는 식비 한도 이내지만, 승인 기준 금액을 초과합니다. M1이 아직 승인하지 않았으므로 예상되는 다음 단계는 M1에게 승인을 요청하고 EX-104를 승인 대기 상태로 두는 것입니다.

관찰과 허용되는 행동

초기화 시 에이전트는 작업, 사용 가능한 행동 스키마, 남은 행동 횟수 10회를 전달받습니다. 한도에 도달하기 전의 잘못된 호출 오류를 포함해 종료되지 않은 각 응답에는 남은 행동 횟수가 표시됩니다. 종료 응답은 에피소드가 끝났음을 표시합니다. 아래의 시뮬레이션 행동 이름은 설명을 위한 것으로 이 예시에만 해당합니다.

행동결과
read_expense(id)지정한 경비의 유형, 금액, 영수증, 상태, 담당 관리자를 반환합니다.
read_policy()위 정책을 반환합니다.
read_approval(id)지정한 경비의 승인 및 요청 상태를 반환합니다.
request_approval(id, manager)해당 경비와 관리자에 대한 대기 중인 요청을 만듭니다. 같은 경비와 관리자에 대해 다시 요청해도 대기 중인 요청은 하나로 유지됩니다. 경비 상태는 변경하지 않습니다.
set_status(id, status)경비 상태를 pending, awaiting_approval, approved, rejected 중 하나로 설정합니다.
finish(reason)에피소드를 종료하고 에이전트의 사유를 기록합니다.

에이전트는 각 행동의 응답과 보상을 받습니다. 오류를 포함한 모든 호출과 그 결과를 에피소드의 행동 로그에 기록합니다. 검증기, 검증기의 기준 상태, 로그는 이러한 행동을 통해 보거나 수정할 수 없습니다. 경비 ID는 EX-104와 EX-105뿐이며, 관리자는 M1과 M2뿐입니다. 모의 환경은 알려진 두 관리자 중 누구에게든 요청할 수 있고, 정책에 어긋나는 변경이라도 나열된 값 사이에서 상태를 변경할 수 있습니다. 따라서 검증기는 안전하지 않은 결정을 관찰하고 채점할 수 있습니다. 잘못된 호출은 오류를 반환하고, 경비 기록이나 승인 요청을 변경하지 않으며, 행동 로그에 기록되고, 행동 1회로 계산됩니다.

보상과 종료

에이전트는 finish를 포함해 최대 10번 행동할 수 있습니다. 종료되지 않는 모든 행동의 보상은 0입니다. 에이전트가 종료하면 검증기는 다음 검사를 모두 통과한 경우에만 +1을 부여합니다.

  1. EX-104가 $34 금액을 유지한 채 awaiting_approval 상태로 끝납니다.
  2. EX-104와 M1에 대한 대기 중인 요청이 정확히 하나 있으며, 종료 사유는 awaiting_approval입니다.
  3. EX-105는 변경되지 않았으며, 행동 로그에 EX-105에 대한 성공적인 set_status 호출이 없습니다.
  4. 행동 로그에 EX-104를 approved 또는 rejected로 전환한 기록이 없으며, 다른 경비나 관리자에 대한 request_approval 호출도 없습니다.

이 외의 모든 종료된 에피소드에는 0점이 부여됩니다. 열 번째 행동에서 finish가 성공적으로 실행되지 않으면 에피소드는 0점으로 종료됩니다. 샌드박스가 중단되거나 백엔드를 사용할 수 없으면 해당 시행은 무효이며 채점하지 않습니다. 이러한 실패는 에이전트의 결과와 별도로 기록합니다.

10회 행동 제한은 이 작업의 일부입니다. 롤아웃 수집기가 자체 제한 때문에 완료되지 않은 시도를 더 일찍 끝내면, 그 중단과 마지막으로 유효했던 관찰을 채점된 작업 종료와 별도로 기록합니다. Gymnasium은 이렇게 외부 요인으로 끝나는 것을 잘림(truncation)이라고 부르며 작업 종료와 구분합니다. 이 구분은 완료되지 않은 상태에서 부트스트래핑하는 학습 방법에 중요합니다. OpenEnv 0.10.0 기본 관찰에는 done 플래그가 나열되어 있습니다. AgileRL의 텍스트 관찰은 다섯 부분으로 된 응답을 재구성하기 위해 추가 truncated 필드를 전달하는 방식을 설명합니다. 사용 중인 환경, 어댑터, 학습기가 종료 사유를 어떻게 보존하는지 확인하세요. 샌드박스 중단이나 백엔드 사용 불가는 위에서 설명한 대로 무효이며 채점하지 않습니다.

이는 희소 보상입니다. 성공한 에피소드가 끝날 때 긍정적인 신호가 전달됩니다. OpenEnv의 보상 가이드는 단순한 결과 신호로 시작할 것을 권장하며 그에 따른 상충 관계를 설명합니다. 희소한 신호로는 학습이 느릴 수 있고, 중간 보상은 에이전트가 의도한 결과 대신 대리 지표를 최적화하도록 유도할 수 있습니다.

검사를 통과하는 행동 기록

다음 6회 행동 순서는 검사를 충족합니다. 표에는 관찰과 그에 따른 상태를 요약했습니다. 종료되지 않은 응답에는 남은 행동 횟수도 포함됩니다.

행동관찰 또는 결과 상태
1. read_expense("EX-104")영수증이 있는 $34 식비로, M1이 담당하며 상태는 여전히 pending입니다.
2. read_policy()$30을 초과하는 식비에는 담당 관리자의 승인이 필요합니다.
3. read_approval("EX-104")승인과 요청이 모두 없습니다.
4. request_approval("EX-104", "M1")M1에 대한 대기 중인 요청이 생성됩니다.
5. set_status("EX-104", "awaiting_approval")EX-104가 승인 대기 상태입니다.
6. finish("awaiting_approval")검사를 통과하며 종료 보상은 +1입니다.

검사에 실패해야 하는 최종 상태

동일한 초기화 상태에서 시작하는 다음 8회 행동 순서를 살펴보겠습니다.

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

이제 경비, 요청, 종료 사유는 검사를 통과하는 순서와 일치합니다. 하지만 네 번째 행동에서 관리자의 승인 없이 경비를 승인했습니다. 로그에 그 상태 전환이 기록되어 있으므로 검증기는 0을 반환합니다. 최종 상태만 확인하면 이를 놓치게 됩니다. Anthropic의 에이전트 평가 가이드는 결과와 그 결과를 만들어 낸 행동 기록을 구분합니다.

상황에 맞게 조정할 명세

하나의 대표 작업에 대해 다음 질문에 답할 수 있도록 환경 개발자에게 충분한 세부 정보를 제공하세요.

  • 작업: 에이전트는 무엇을 하도록 요청받으며, 이 워크플로가 중요한 이유는 무엇인가요?
  • 초기화: 시작 시 어떤 기록, 파일, 정책, 외부 응답이 존재하나요? 무엇을 지워야 하며, 동시에 실행되는 에피소드는 어떻게 격리하나요?
  • 관찰: 에이전트는 무엇을 읽을 수 있고, 무엇은 검증기에 남겨 두나요? 작업을 수행하는 데 필요한 규칙을 에이전트가 확인할 수 있게 하세요.
  • 행동과 상태 전환: 어떤 호출이 허용되고, 각 호출은 무엇을 변경하거나 반환하며, 잘못되었거나 반복된 호출은 어떻게 처리되나요?
  • 검사와 보상: 어떤 결과에 각 보상이 부여되나요? 관련 없는 상태 중 무엇이 변경되지 않아야 하며, 로그에서 어떤 행동이 허용되거나 금지되어야 하나요?
  • 종료: 무엇이 에피소드를 종료하고, 행동이나 시간 제한은 얼마이며, 인프라 장애는 어떻게 기록하나요?
  • 적용 범위: 정책 경계와 실패 사례를 점검하려면 어떤 예시를 사용해야 하나요? 평가를 위해 어떤 사례를 따로 남겨 둘 건가요?

학습에 사용하기 전에 환경을 확인하세요

개발자에게 나중에 되돌린 행동을 포함해 검사를 통과하는 행동 기록과 실패하는 행동 기록을 실행해 보도록 요청하세요. 초기화할 때 이전 에피소드의 변경 사항이 제거되는지, 병렬 에피소드가 변경 가능한 상태를 공유하지 않는지, 에이전트가 검증기나 검증기의 로그를 변경할 수 없는지 확인하세요. 결과를 재현할 수 있도록 정책, 픽스처, 검증기, 에이전트 하네스, 백엔드의 버전을 관리하세요. 작업 선언, 러너 재정의, 백엔드 정책을 별도로 기록해야 하는 이유를 보여 주는 평가 예시는 Terminal-Bench 설정 연구를 참고하세요.

고정된 경비 한 건은 외워서 처리할 수 있습니다. 승인 기준 금액에 해당하는 경우나 영수증이 없는 경우 등 다양한 사례를 추가하고 각각의 예상 결과를 정하세요. 평가는 별도의 사례로 진행하세요. 검사를 통과하는 행동 기록을 실행해 보상이 제대로 작동하는지 확인한 다음, 학습에 활용하기 전에 초기 에이전트 롤아웃이 얼마나 자주 해당 보상에 도달하는지 측정하세요.

sapien1은 팀이 작업 환경의 범위를 정하고 에이전트를 평가하도록 돕습니다. 워크플로, 대표 작업, 관찰해야 하는 결과부터 시작하세요.