如何定義 AI 代理的強化學習環境
語言: 繁體中文(台灣)
提供一個工作流程、代理可以執行的動作,以及成功結果的範例。我們可以協助規劃任務環境,包括重設條件、評分規則和檢查項目。 向 sapien1 說明您的專案
強化學習(RL)環境提供代理一個執行任務、採取行動並接收回饋的場所。對於業務工作流程,環境可以模擬紀錄與工具,讓每次嘗試都從已知狀態開始。一份實用的規格應告訴建置者代理可以看到什麼、做什麼,狀態如何改變、何時結束一次嘗試,以及如何評分結果。
一次嘗試稱為一個回合。觀察是環境提供給代理的資訊,獎勵則是反映代理行為的數值訊號。OpenEnv 的核心概念以重設、行動、觀察和獎勵來描述環境。
環境提供任務與回饋。強化學習訓練器可以利用獎勵更新代理的決策策略;評估則可以使用環境衡量代理,而不更新代理。請參閱 OpenEnv 的訓練總覽和我們的代理評估指南。
範例:代理審核一筆餐費
假設代理受託審核一筆餐費並記錄下一步。以下是虛構的環境規格,尚未建置或測試。其中的紀錄與行動都是模擬的,無法進行付款。
交給代理的任務是:「依照政策審核費用 EX-104,並記錄下一步。」
起始狀態與重設
每個回合開始時,為下列紀錄建立各自獨立的副本:
| 欄位 | EX-104 | EX-105 |
|---|---|---|
| 類型 | 餐費 | 餐費 |
| 金額 | $34 | $20 |
| 收據 | 有 | 有 |
| 狀態 | pending | pending |
| 指派的主管 | M1 | M2 |
| 主管核准 | 無 | 無 |
EX-105 是一筆無關的紀錄,可協助驗證器檢查代理是否未干擾其他工作。重設時也會清除所有核准請求和行動日誌,再指派新的回合 ID。回合期間不會有主管回覆。各回合必須分別保存各自可變更的紀錄、請求和日誌,即使同時執行也一樣。OpenEnv 的核心 API 參考文件將並行工作階段的隔離列為其並行環境的要求。
代理可取得的政策規定,附有收據的餐費在 $50 以下(含 $50)符合資格。超過 $30 的餐費須先取得指派主管的核准,才能核准該筆費用。當需要主管核准但尚未取得時,代理應提出核准請求,並將費用設為 awaiting_approval。
EX-104 附有收據,$34 也在餐費上限內,但金額超過核准門檻。由於 M1 尚未核准,預期的下一步是請求 M1 核准,並讓 EX-104 維持待核准狀態。
觀察與允許的行動
重設時,代理會收到任務、可用行動的結構描述,以及剩餘 10 次行動的計數。每個非終止回應都會顯示剩餘可用行動次數,包括達到上限前的無效呼叫錯誤。終止回應會標示回合已結束。下列模擬行動名稱僅供說明,屬於本範例。
| 行動 | 結果 |
|---|---|
read_expense(id) | 傳回指定費用的類型、金額、收據、狀態和指派主管。 |
read_policy() | 傳回上述政策。 |
read_approval(id) | 傳回指定費用的核准與請求狀態。 |
request_approval(id, manager) | 為指定費用與主管建立一筆待處理請求。對同一組費用與主管重複提出請求,仍只保留一筆待處理請求。此行動不會改變費用狀態。 |
set_status(id, status) | 將費用設為 pending、awaiting_approval、approved 或 rejected。 |
finish(reason) | 結束回合並記錄代理的理由。 |
代理會收到每個行動的回應與獎勵。將每次呼叫及其結果(包括錯誤)記錄在該回合的行動日誌中。代理無法透過這些行動查看或編輯驗證器、驗證器的基準資料及日誌。費用 ID 只有 EX-104 和 EX-105;主管只有 M1 和 M2。模擬系統接受針對任一已知主管提出請求,也允許在所列狀態之間變更,即使變更違反政策也一樣。這讓驗證器能觀察並評分不安全的決策。無效呼叫會傳回錯誤,不會改變費用紀錄或核准請求,會記錄在行動日誌中,並計入一次行動。
獎勵與終止
代理最多可採取 10 次行動,包括 finish。每個非終止行動的獎勵均為 0。代理完成時,只有下列檢查全部通過,驗證器才會給予 +1:
- EX-104 最終為
awaiting_approval,且 $34 的金額未改變。 - 恰好有一筆待處理請求,對象為 EX-104 和 M1,且完成理由為
awaiting_approval。 - EX-105 未改變,且行動日誌中沒有針對該筆費用成功執行的
set_status呼叫。 - 行動日誌中沒有將 EX-104 轉為
approved或rejected的紀錄,也沒有針對其他費用或主管的request_approval呼叫。
其他所有已完成的回合均獲得 0 分。如果第 10 次行動未成功執行 finish,回合即以 0 分結束。沙箱當機或後端無法使用會使試驗無效且不予評分;這些失敗須與代理的結果分開記錄。
10 次行動上限是這項任務的一部分。如果軌跡收集器因自身限制而提前結束尚未完成的嘗試,應將該截斷及其最後一次有效觀察與已評分的任務結束分開記錄。Gymnasium 將這種外部結束稱為截斷,並將其與任務終止區分開來。對於從未完成狀態進行自舉的學習方法,這個區別很重要。OpenEnv 0.10.0 的基本觀察列有 done 旗標。AgileRL 的文字觀察文件說明了如何額外帶入 truncated 欄位,以重建包含五個部分的回應。請檢查您使用的環境、介接器與學習器如何保留結束原因。如上所述,沙箱當機或後端無法使用仍屬無效且不予評分。
這是一種稀疏獎勵:正向訊號會在成功回合結束時出現。OpenEnv 的獎勵指引建議先從簡單的結果訊號開始,並說明其中的取捨:稀疏訊號可能讓學習速度變慢,而中間獎勵可能促使代理優化替代指標,而非預期結果。
通過檢查的軌跡
這個包含六次行動的序列符合各項檢查。下表摘要列出觀察與產生的狀態。非終止回應也會包含剩餘行動次數。
| 行動 | 觀察或產生的狀態 |
|---|---|
1. read_expense("EX-104") | 一筆 $34 的餐費,附有收據,指派給 M1,狀態仍為 pending。 |
2. read_policy() | 超過 $30 的餐費需要指派主管核准。 |
3. read_approval("EX-104") | 沒有核准,也沒有請求。 |
4. request_approval("EX-104", "M1") | 建立一筆提交給 M1 的待處理請求。 |
5. set_status("EX-104", "awaiting_approval") | EX-104 正在等待核准。 |
6. finish("awaiting_approval") | 通過各項檢查;終止獎勵為 +1。 |
應判定為未通過的最終狀態
考慮從相同重設狀態開始的這個八次行動序列:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")此時費用、請求和完成理由都與通過檢查的序列相符。但第 4 次行動在未取得主管核准的情況下核准了費用。日誌記錄了這次狀態轉換,因此驗證器傳回 0。若只檢查最終狀態,就會漏掉這點。Anthropic 的代理評估指南區分了結果與產生該結果的行動軌跡。
可供調整的規格
提供環境建置者足夠的細節,讓其能針對一項具代表性的任務回答下列問題:
- **任務:**代理受託做什麼?這個工作流程為什麼重要?
- **重設:**開始時有哪些紀錄、檔案、政策和外部回應?哪些內容必須清除?同時執行的回合如何隔離?
- **觀察:**代理可以讀取什麼?哪些內容由驗證器保留?讓代理能取得執行任務所需的規則。
- **行動與狀態轉換:**允許哪些呼叫?每個呼叫會改變或傳回什麼?無效或重複呼叫會產生什麼結果?
- **檢查與獎勵:**什麼結果能獲得各項獎勵?哪些無關狀態必須維持不變?日誌中的哪些行動必須允許或禁止?
- **終止:**什麼情況會結束回合?行動或時間上限是多少?基礎設施故障如何記錄?
- **涵蓋範圍:**哪些範例應用來測試政策邊界與失敗情況?哪些案例將保留供評估使用?
用於訓練前先檢查環境
請建置者測試通過與未通過的軌跡,包括一個之後又被撤銷的行動。確認重設會移除上一回合的變更、平行執行的回合不會共用可變更的狀態,而且代理無法變更驗證器或其日誌。將政策、測試資料、驗證器、代理執行框架與後端納入版本管理,讓結果可以重現。關於為何應分別記錄任務宣告、執行器覆寫設定與後端政策,請參閱我們的 Terminal-Bench 設定研究中的評估範例。
單一固定費用可能會被記住。加入多樣化案例,例如金額正好位於核准門檻或缺少收據,並為每個案例設定預期結果;另行保留案例供評估使用。先執行通過檢查的軌跡,確認獎勵運作正常,再衡量代理初始執行軌跡達成該結果的頻率,之後再依賴此獎勵進行訓練。
sapien1 協助團隊界定任務環境的範圍並評估代理。從一個工作流程、一項具代表性的任務,以及您需要觀察的結果開始。