用實際要完成的工作評估 AI 代理程式
頁面語言: 繁體中文(台灣)
提供一項具代表性的任務,以及您的代理應達成的結果。我們可以規劃測試,明確列出檢查項目,並報告通過、失敗及未評分的執行結果。 向 sapien1 說明您的專案
評估 AI 代理程式,是要確認它能否在實際會遇到的資訊、工具和限制下完成任務。先定義預期結果,再確認有哪些變更,並檢視產生結果的步驟。
sapien1 協助團隊界定任務集、檢視評估資料,以及開發代理程式的測試環境。先選一項工作流程,想清楚評估要支援哪一個決策。
把工作流程轉換成可測試的任務
一項任務需要初始狀態、使用者請求,以及可觀察的成功條件。代理程式最後的訊息只是證據之一。產生的檔案、紀錄或工具狀態也可能顯示工作是否完成。
Anthropic 的代理程式評估指南區分任務、每次試驗、評分器、執行軌跡,以及環境中的結果。釐清這些差異,有助於判斷失敗源自代理程式、測試或環境。
例如,假設客服代理程式收到變更收件地址的請求。測試可以提供訂單紀錄、顧客請求和適用的政策。檢查項目應反映實際任務:
| 任務環節 | 檢查項目範例 |
|---|---|
| 找出訂單 | 代理程式選到請求指定的訂單 |
| 套用政策 | 決定符合提供的規則和訂單狀態 |
| 執行變更 | 允許變更時,訂單紀錄會出現顧客指定的新地址;否則地址維持原樣。 |
| 保留其餘資訊 | 品項、數量與無關紀錄維持原樣 |
| 說明結果 | 回覆正確說明採取了什麼行動,或還需要哪些資訊 |
這是任務規格的範例。請依你的政策與工作流程決定檢查項目。
檢查授權與操作後的狀態
假設使用者允許代理程式把訂單 A 的地址從 1 Example Lane 改成 2 Example Lane。訂單 B 原先的地址是 3 Example Lane,不在這次請求的範圍內。下列虛構執行軌跡事先寫好,呈現模擬授權檢查可能記下的內容:
| 代理程式向工具提出的請求 | 授權判定 | 記錄的結果 |
|---|---|---|
| 訂單 A:將地址改成 2 Example Lane | 允許 | 已執行變更 |
| 訂單 B:將地址改成 4 Example Lane | 拒絕 | 已阻擋變更 |
軌跡記錄了獲准的請求和超出授權範圍的請求。在這個範例中,檢查狀態可確認訂單 A 的地址為 2 Example Lane,訂單 B 仍是 3 Example Lane。拒絕請求和執行變更是不同的結果。請將授權判定、最終狀態與代理程式的回覆一起保存。
Anthropic 的代理程式評估指南區分試驗軌跡與試驗後的狀態。AWS 的工具授權指引說明怎麼檢查代理程式向工具提出的請求,以及如何審查允許或拒絕的判定。這條虛構軌跡只示範一種查核方式,不能據此判定系統安全。
從已處理完畢的案例建立測試
假設另一段虛構客服紀錄出現以下事件。10:00,身分已確認的訂單 A 持有人要求把訂單地址從 1 Example Lane 改為 2 Example Lane。當時訂單仍在備貨,尚未出貨。當時適用的政策要求,在出貨前依身分已確認的持有人請求修改地址。10:05,客服備註記下地址已變更。
要測試 10:00 的決策,請把當時的顧客請求、訂單的原始狀態和當時適用的政策提供給代理程式,並讓測試工具從該狀態啟動。代理程式執行時,讓訂單維持在備貨階段。讓審查者可以查看 10:05 的備註,並將這則備註排除在代理程式的初始提示及其工具在本次測試中能存取的紀錄之外。否則代理程式可能在收到操作要求前就看見已完成的結果。
審查者可依 10:00 適用的政策判斷預期結果。訂單 A 的最終地址應為 2 Example Lane。也請把無關紀錄維持原樣列為測試要求。10:05 的備註記下實際結果。請依政策判斷操作是否正確。如果無法確認適用的政策或操作前的狀態,把案例先留待審查。使用真實紀錄前,先確認有權使用,並妥善處理敏感欄位。
Inspect 的資料集指南區分提交給模型的輸入和可用於評分的參考目標,也說明範例檔案可以複製到隔離環境。請檢查提示、擷取的資料、工具回應和隔離環境中的檔案,確認只供審查者參考的資訊沒有出現在代理程式可取得的地方。即使資料集另有評分目標,也需要做這些檢查。
為決策選擇合適的證據
有可觀察的結果時,可以直接檢查,例如欄位變更、計算結果、產生的檔案或通過的測試。需要人員判讀時,請使用書面的評分規準,例如評估解釋是否清楚,或研究型回答是否有證據支持結論。
自動評分器有助於檢視大量輸出。採用它的分數前,先用具代表性的範例比較自動判定與人工審查。記錄不一致之處,以改善評分規準或評分器。
記錄任務輸入、工具、代理程式的設定與結果。如果多次執行之間的差異會影響決策,就重複試驗。檢視失敗,也檢視意外成功的情形。高分可能來自良好表現,也可能掩蓋測試薄弱之處。Anthropic 的指南探討評分器與試驗設計的考量。
評分前核對案例 ID
根據過往紀錄建立案例時,在預期結果與測試結果中都保留案例 ID。每個案例各評一筆結果前,請用預期 ID 清單核對兩份檔案。每個預期 ID 必須在每份檔案中恰好出現一次。處理缺少、重複或不在清單上的 ID。重複執行時,也要記錄試驗 ID。
假設預期包含案例 A 和 B。兩份檔案各有 A 和一列缺少 ID 的資料。A 的預期結果與測試結果不同,兩列缺少 ID 的資料卻有相同標籤。pandas 的合併操作可能將缺漏的鍵配對,即使已通過一對一關係驗證。直接計算合併結果,兩組配對中有一組一致。只有 A 配對到預期 ID。在能識別的子集中,一個案例沒有任何結果一致,涵蓋兩個預期案例中的一個。由於缺少 ID,無法判定其餘兩列是否有任何一列屬於 B,因此無法確定完整兩個案例的分數。如果有意只對子集評分,請一併說明分數與涵蓋範圍。
依決策目的解讀重複試驗
假設團隊對兩項任務各測三次,每次試驗前都還原該任務的初始狀態。檢查得出以下虛構結果:
| 任務 | 第一次試驗 | 第二次試驗 | 第三次試驗 |
|---|---|---|---|
| A | 通過 | 未通過 | 通過 |
| B | 通過 | 通過 | 未通過 |
六次試驗中有四次通過。兩項任務都至少通過一次,但沒有一項三次都通過。這兩種摘要回答的是不同問題。如果系統能可靠地檢查並從多個候選輸出中選擇,偶爾出現的正確結果也可能有用。如果每次試驗都要獨立成功,就應重視反覆執行的成功情形。一次通過不能保證其他試驗安全或正確。
再假設第七次試驗因隔離環境發生已確認的外部故障,在評分前停止。六次已評分的試驗中有四次通過;全部七次試驗中,有四次確認通過。未評分的試驗不能算已確認的成功,也不能算已確認的代理程式失敗。第一個比例針對已評分的試驗,第二個比例則呈現確認通過的試驗占全部試驗的比例。任務權重或指標設定不同,回報的結果也可能不同。
這些數字只描述上述虛構檢查,不能當成實際上線後的成功率。記下任務數、每項任務的試驗次數、所做的檢查,以及因隔離環境故障等基礎設施問題而無效的試驗。分開回報無效試驗與代理程式失敗,並列明每份摘要納入哪些試驗。重複一項任務能揭露該任務的表現變異,也應測試更多不同情境。Anthropic 的代理程式評估指南說明如何用至少成功一次與穩定成功的衡量方式支援不同決策。
任務涵蓋範圍可能在評分前改變。在我們的GDPval 參考成果涵蓋分析中,220 列公開任務資料有 185 列至少列出一條指向專家交付成果的路徑。這些資料列的產業組成與整張表不同。路徑出現在表中,不能證明檔案可存取或可顯示。
操作會變更狀態時,請準備測試環境
如果代理程式會編輯紀錄、操作軟體或使用多項工具,就需要能執行這些操作的地方。可重現的測試環境讓你能還原初始狀態,並在執行後檢查結果。
OpenEnv 是用來建立代理程式隔離環境的開放框架。請先定義任務、代理程式能看到的資訊、可執行的操作,以及驗證成功的方式,再選擇框架。
想看不同任務所宣告的資源有何差異,可參考 Terminal-Bench 的 66 項任務資源設定。
第一次評估的需求範本
說明工作流程、具代表性的一項任務,以及成功的結果有哪些特徵。列出代理程式使用的工具、收到的資訊,以及哪些失敗會改變上線決策。若已有範例,請補充來源與涵蓋範圍。
範圍明確的專案接著可以定義任務集、環境需求、評分方式和結果審查方式。如果缺的是範例本身,請從尋找和取得資料開始。