AI 에이전트가 실제로 해야 할 작업으로 평가하기
페이지 언어: 한국어
대표적인 작업과 에이전트가 달성해야 할 결과를 알려 주세요. 명확한 점검 항목과 통과, 실패, 미채점 실행 결과를 담은 보고서를 포함해 테스트 범위를 정할 수 있습니다. sapien1에 프로젝트를 설명하세요
AI 에이전트 평가는 에이전트가 실제 환경에서 마주할 정보, 도구, 제약을 바탕으로 작업을 완료할 수 있는지 검증합니다. 기대하는 결과를 정하고, 무엇이 바뀌었는지 확인하고, 그 결과에 이르는 과정을 살펴보세요.
sapien1은 팀이 작업 모음의 범위를 정하고, 평가 데이터를 검토하고, 에이전트를 시험할 환경을 개발하도록 돕습니다. 하나의 워크플로와 평가를 통해 내릴 결정부터 정하세요.
워크플로를 검증 가능한 작업으로 만들기
작업에는 초기 상태, 요청, 관찰 가능한 성공 기준이 필요합니다. 에이전트의 최종 메시지는 증거의 일부입니다. 생성된 파일이나 레코드, 도구의 상태를 통해서도 작업 완료를 확인할 수 있습니다.
Anthropic의 에이전트 평가 가이드는 작업, 개별 시도, 채점기, 실행 기록, 환경에서의 결과를 구분합니다. 이 구분은 실패가 에이전트에서 비롯됐는지, 테스트나 환경에서 비롯됐는지 판단하는 데 도움이 됩니다.
예를 들어 고객 지원 에이전트가 배송 주소를 변경해 달라는 요청을 받았다고 가정해 보세요. 테스트에서는 주문 레코드와 고객 요청, 적용되는 정책을 제공할 수 있습니다. 확인 항목은 실제 작업을 반영해야 합니다.
| 작업 요소 | 확인 항목 예시 |
|---|---|
| 주문 식별 | 요청에 명시된 주문을 선택하는지 확인합니다 |
| 정책 적용 | 결정이 제공된 규칙 및 주문 상태와 일치하는지 확인합니다 |
| 변경 실행 | 변경이 허용되면 주문 레코드에 요청한 주소가 반영됩니다. 허용되지 않으면 주소가 유지됩니다. |
| 다른 세부 정보 보존 | 품목, 수량, 관련 없는 레코드가 그대로 유지됩니다 |
| 결과 설명 | 응답이 수행한 조치 또는 추가로 필요한 정보를 정확하게 설명합니다 |
이 작업 명세는 예시입니다. 실제 확인 항목은 각 팀의 정책과 워크플로가 결정합니다.
권한과 조치 이후의 상태 확인하기
사용자가 에이전트에게 주문 A의 주소를 1 Example Lane에서 2 Example Lane으로 바꾸도록 허용했다고 가정해 보세요. 주문 B의 초기 주소는 3 Example Lane이며 이 요청에 포함되지 않습니다. 아래의 가상 실행 기록은 미리 작성한 것으로, 모의 권한 검사에서 무엇을 기록할 수 있는지 보여 줍니다.
| 에이전트가 도구에 보낸 요청 | 권한 판단 | 기록된 결과 |
|---|---|---|
| 주문 A: 주소를 2 Example Lane으로 변경 | 허용 | 변경 실행 |
| 주문 B: 주소를 4 Example Lane으로 변경 | 거부 | 변경 차단 |
실행 기록에는 허용된 요청과 권한 범위 밖의 요청이 모두 남습니다. 이 예시의 상태 검사에서 주문 A의 주소는 2 Example Lane이고 주문 B의 주소는 3 Example Lane에 그대로 있습니다. 요청이 거부된 것과 변경이 실행된 것은 서로 다른 결과입니다. 에이전트의 응답과 함께 권한 판단과 최종 상태를 남겨 두세요.
Anthropic의 에이전트 평가 가이드는 시도의 실행 기록과 그 결과로 생긴 상태를 구분합니다. AWS의 도구 사용 권한 지침은 에이전트가 도구에 보내는 요청을 검사하고 허용 또는 거부 결정을 검토하는 방법을 다룹니다. 이 가상 기록은 검사 한 가지를 예시로 보여 주며, 시스템이 안전하다는 증거는 아닙니다.
처리가 끝난 사례에서 테스트 만들기
별도의 가상 고객 지원 이력에 다음 과정이 기록됐다고 가정해 보세요. 10:00에 신원이 확인된 주문 A의 소유자가 주문 주소를 1 Example Lane에서 2 Example Lane으로 변경해 달라고 요청합니다. 주문은 아직 발송 준비 중입니다. 당시 정책은 신원이 확인된 소유자가 요청한 주소 변경을 발송 전에 처리하도록 규정합니다. 10:05의 고객 지원 메모에는 주소가 변경되었다고 기록돼 있습니다.
10:00 시점의 판단을 시험하려면 요청과 주문의 원래 상태, 그때 적용되던 정책을 에이전트에 제공하고 테스트 도구를 그 상태에서 시작하세요. 에이전트가 작업하는 동안 주문을 발송 준비 상태로 유지합니다. 10:05 메모는 검토자가 볼 수 있도록 하되, 이 테스트에서 에이전트의 최초 프롬프트와 도구로 접근할 수 있는 레코드에서는 제외하세요. 그렇지 않으면 에이전트가 행동을 요청받기 전에 이미 끝난 결과를 볼 수 있습니다.
검토자는 10:00에 적용된 정책으로 기대 결과를 판단합니다. 주문 A의 최종 주소는 2 Example Lane입니다. 관련 없는 레코드가 변경되지 않는 것도 테스트 조건에 포함하세요. 10:05 메모에는 실제 결과가 기록돼 있습니다. 조치가 옳았는지는 정책에 따라 판단하세요. 적용 정책이나 조치 전 상태를 확인할 수 없다면 해당 사례를 따로 검토하세요. 실제 레코드를 사용하기 전에는 사용 권한을 확인하고 민감한 필드를 적절히 처리하세요.
Inspect의 데이터 세트 가이드는 모델에 제공하는 입력과 채점에 사용할 수 있는 참조 결과를 구분합니다. 예시 파일을 격리된 환경에 복사할 수도 있다고 설명합니다. 프롬프트, 검색된 자료, 도구 응답, 격리 환경의 파일에 검토자 전용 정보가 들어가지 않았는지 확인하세요. 데이터 세트에 채점용 참조 결과가 별도로 있더라도 같은 검사를 수행하세요.
결정에 맞는 증거 선택하기
변경된 필드, 계산 결과, 생성 파일, 테스트 통과 여부처럼 관찰할 수 있는 결과는 직접 확인하세요. 설명이 명확한지, 조사에 대한 답변이 결론을 뒷받침하는지처럼 사람의 해석이 필요한 경우에는 문서화한 평가 기준을 사용하세요.
자동 채점기는 많은 출력을 검토하는 데 도움이 됩니다. 그 점수에 의존하기 전에 대표 예시에서 자동 채점 결과를 사람의 판단과 비교하세요. 평가 기준이나 채점기를 개선할 수 있도록 의견 차이를 기록하세요.
작업 입력, 사용한 도구, 에이전트 설정과 결과를 기록하세요. 실행 간 변동이 의사결정에 영향을 주는 경우 시도를 반복하세요. 실패한 실행과 예상 밖에 성공한 실행을 모두 검토하세요. 높은 점수는 좋은 성능을 나타내거나 허술한 테스트를 가릴 수 있습니다. Anthropic 가이드에서는 채점기와 시도 설계 시 고려할 점을 설명합니다.
채점 전에 사례 ID 확인하기
과거 레코드로 사례를 만들 때 기대 결과와 테스트 결과 모두에 사례 ID를 남기세요. 사례당 하나의 결과를 채점하기 전에 두 파일을 기대한 ID 목록과 대조하세요. 기대한 각 ID는 각 파일에 정확히 한 번씩 등장해야 합니다. 누락됐거나 중복되거나 예상하지 않은 ID 문제를 해결하세요. 실행을 반복할 때는 시도 ID도 기록하세요.
사례 A와 B가 있어야 한다고 가정해 보세요. 두 파일에는 각각 A와 ID가 없는 행 하나가 있습니다. A의 기대 결과와 테스트 결과는 서로 다릅니다. ID가 없는 두 행은 같은 레이블을 갖습니다. pandas의 병합은 일대일 검증을 통과한 경우에도 누락된 키를 서로 연결할 수 있습니다. 병합한 행을 세면 두 쌍 중 한 쌍이 일치합니다. 하지만 기대한 ID와 일치하는 사례는 A뿐입니다. 식별된 부분 집합은 한 사례에서 일치가 없으며, 기대한 두 사례 중 하나만 포함합니다. 두 행 중 B에 해당하는 행이 있는지는 ID 없이는 알 수 없으므로, 기대한 두 사례 전체의 점수는 정할 수 없습니다. 의도적으로 일부만 채점할 때는 점수와 함께 포함 범위를 알리세요.
결정의 목적에 맞게 반복 시도 해석하기
한 팀이 두 작업을 각각 세 번씩 테스트하고, 매번 작업의 초기 상태를 복원한다고 가정해 보세요. 검사에서 다음과 같은 가상 결과가 나왔습니다.
| 작업 | 첫 번째 시도 | 두 번째 시도 | 세 번째 시도 |
|---|---|---|---|
| A | 통과 | 실패 | 통과 |
| B | 통과 | 통과 | 실패 |
여섯 번 중 네 번이 통과했습니다. 두 작업 모두 한 번 이상 통과했지만, 세 번 모두 통과한 작업은 없었습니다. 두 요약은 서로 다른 질문에 답합니다. 시스템이 여러 후보 출력을 신뢰할 수 있게 검토하고 그중 하나를 선택할 수 있다면 가끔 나오는 올바른 결과도 의미가 있습니다. 각 시도가 독립적으로 작동해야 한다면 반복해서 성공하는 것이 중요합니다. 한 번 통과했다고 해서 나머지 시도가 안전하거나 올바른 것은 아닙니다.
이제 격리 환경에서 확인된 외부 장애로 일곱 번째 시도가 채점되기 전에 중단됐다고 가정해 보세요. 채점한 여섯 번 중 네 번이 통과했습니다. 전체 일곱 번 중 통과가 확인된 시도도 네 번입니다. 채점하지 못한 시도는 확인된 성공이나 확인된 에이전트 실패에 해당하지 않습니다. 첫 번째 비율은 채점한 시도를 요약합니다. 두 번째는 전체 시도에서 확인된 성공을 보여 줍니다. 작업별 가중치 또는 지표 설정에 따라 보고 결과가 달라질 수 있습니다.
이 수치는 위의 가상 검사만 설명하며 실제 운영의 성공률을 보여 주지는 않습니다. 작업 수, 작업당 시도 횟수, 사용한 검사, 격리 환경 장애 등 인프라 문제로 무효가 된 시도를 기록하세요. 무효 시도는 에이전트 실패와 별도로 보고하고 각 요약에 포함된 시도를 명시하세요. 한 작업을 반복하면 해당 작업의 결과 변동을 파악할 수 있습니다. 더 다양한 상황도 테스트하세요. Anthropic의 에이전트 평가 가이드는 한 번 이상의 성공과 일관된 성공을 측정하는 지표가 서로 다른 결정에 어떻게 쓰이는지 설명합니다.
채점 전에 평가 대상 범위가 달라질 수 있습니다. sapien1의 GDPval 참조 결과물 범위 분석에서 공개 작업 행 220개 중 185개에 전문가가 만든 결과물의 경로가 하나 이상 기재돼 있습니다. 이 행들의 산업 분야 구성은 전체 표와 다릅니다. 경로가 기재돼 있다는 사실만으로는 파일에 접근하거나 이를 표시할 수 있다고 판단할 수 없습니다.
조치로 상태가 바뀌는 경우 테스트 환경 사용하기
에이전트가 레코드를 수정하거나 소프트웨어를 조작하거나 여러 도구를 사용한다면 조치를 수행할 장소가 필요합니다. 재현 가능한 테스트 환경에서는 초기 상태를 복원하고 실행 후 결과를 검사할 수 있습니다.
OpenEnv는 격리된 에이전트 환경을 위한 개방형 프레임워크입니다. 작업과 에이전트가 볼 수 있는 정보, 수행할 수 있는 조치, 성공 확인 방법을 정의한 뒤 프레임워크를 선택하세요.
작업마다 선언된 리소스가 달라지는 예는 Terminal-Bench 작업 66개의 리소스 설정을 참고하세요.
첫 평가를 위한 요구사항 개요
워크플로와 대표 작업 하나, 성공한 결과의 모습을 설명하세요. 에이전트가 사용하는 도구, 제공되는 정보, 출시 결정을 바꿀 수 있는 실패를 포함하세요. 이미 예시가 있다면 출처와 포함 범위를 설명하세요.
범위를 정한 프로젝트에서는 작업 모음, 환경 요구사항, 채점 방법과 결과 검토 절차를 정의할 수 있습니다. 예시 자체가 부족하다면 데이터 확보부터 시작하세요.