跳至主要內容

選單

如何定義 AI 代理的強化學習環境

語言: 繁體中文(台灣)

提供一個工作流程、代理可以執行的動作,以及成功結果的範例。我們可以協助規劃任務環境,包括重設條件、評分規則和檢查項目。 向 sapien1 說明您的專案

強化學習(RL)環境提供代理一個執行任務、採取行動並接收回饋的場所。對於業務工作流程,環境可以模擬紀錄與工具,讓每次嘗試都從已知狀態開始。一份實用的規格應告訴建置者代理可以看到什麼、做什麼,狀態如何改變、何時結束一次嘗試,以及如何評分結果。

一次嘗試稱為一個回合。觀察是環境提供給代理的資訊,獎勵則是反映代理行為的數值訊號。OpenEnv 的核心概念以重設、行動、觀察和獎勵來描述環境。

環境提供任務與回饋。強化學習訓練器可以利用獎勵更新代理的決策策略;評估則可以使用環境衡量代理,而不更新代理。請參閱 OpenEnv 的訓練總覽和我們的代理評估指南。

範例:代理審核一筆餐費

假設代理受託審核一筆餐費並記錄下一步。以下是虛構的環境規格,尚未建置或測試。其中的紀錄與行動都是模擬的,無法進行付款。

交給代理的任務是:「依照政策審核費用 EX-104,並記錄下一步。」

起始狀態與重設

每個回合開始時,為下列紀錄建立各自獨立的副本:

欄位EX-104EX-105
類型餐費餐費
金額$34$20
收據有有
狀態pendingpending
指派的主管M1M2
主管核准無無

EX-105 是一筆無關的紀錄,可協助驗證器檢查代理是否未干擾其他工作。重設時也會清除所有核准請求和行動日誌,再指派新的回合 ID。回合期間不會有主管回覆。各回合必須分別保存各自可變更的紀錄、請求和日誌,即使同時執行也一樣。OpenEnv 的核心 API 參考文件將並行工作階段的隔離列為其並行環境的要求。

代理可取得的政策規定,附有收據的餐費在 $50 以下(含 $50)符合資格。超過 $30 的餐費須先取得指派主管的核准,才能核准該筆費用。當需要主管核准但尚未取得時,代理應提出核准請求,並將費用設為 awaiting_approval。

EX-104 附有收據,$34 也在餐費上限內,但金額超過核准門檻。由於 M1 尚未核准,預期的下一步是請求 M1 核准,並讓 EX-104 維持待核准狀態。

觀察與允許的行動

重設時,代理會收到任務、可用行動的結構描述,以及剩餘 10 次行動的計數。每個非終止回應都會顯示剩餘可用行動次數,包括達到上限前的無效呼叫錯誤。終止回應會標示回合已結束。下列模擬行動名稱僅供說明,屬於本範例。

行動結果
read_expense(id)傳回指定費用的類型、金額、收據、狀態和指派主管。
read_policy()傳回上述政策。
read_approval(id)傳回指定費用的核准與請求狀態。
request_approval(id, manager)為指定費用與主管建立一筆待處理請求。對同一組費用與主管重複提出請求,仍只保留一筆待處理請求。此行動不會改變費用狀態。
set_status(id, status)將費用設為 pending、awaiting_approval、approved 或 rejected。
finish(reason)結束回合並記錄代理的理由。

代理會收到每個行動的回應與獎勵。將每次呼叫及其結果(包括錯誤)記錄在該回合的行動日誌中。代理無法透過這些行動查看或編輯驗證器、驗證器的基準資料及日誌。費用 ID 只有 EX-104 和 EX-105;主管只有 M1 和 M2。模擬系統接受針對任一已知主管提出請求,也允許在所列狀態之間變更,即使變更違反政策也一樣。這讓驗證器能觀察並評分不安全的決策。無效呼叫會傳回錯誤,不會改變費用紀錄或核准請求,會記錄在行動日誌中,並計入一次行動。

獎勵與終止

代理最多可採取 10 次行動,包括 finish。每個非終止行動的獎勵均為 0。代理完成時,只有下列檢查全部通過,驗證器才會給予 +1:

  1. EX-104 最終為 awaiting_approval,且 $34 的金額未改變。
  2. 恰好有一筆待處理請求,對象為 EX-104 和 M1,且完成理由為 awaiting_approval。
  3. EX-105 未改變,且行動日誌中沒有針對該筆費用成功執行的 set_status 呼叫。
  4. 行動日誌中沒有將 EX-104 轉為 approved 或 rejected 的紀錄,也沒有針對其他費用或主管的 request_approval 呼叫。

其他所有已完成的回合均獲得 0 分。如果第 10 次行動未成功執行 finish,回合即以 0 分結束。沙箱當機或後端無法使用會使試驗無效且不予評分;這些失敗須與代理的結果分開記錄。

10 次行動上限是這項任務的一部分。如果軌跡收集器因自身限制而提前結束尚未完成的嘗試,應將該截斷及其最後一次有效觀察與已評分的任務結束分開記錄。Gymnasium 將這種外部結束稱為截斷,並將其與任務終止區分開來。對於從未完成狀態進行自舉的學習方法,這個區別很重要。OpenEnv 0.10.0 的基本觀察列有 done 旗標。AgileRL 的文字觀察文件說明了如何額外帶入 truncated 欄位,以重建包含五個部分的回應。請檢查您使用的環境、介接器與學習器如何保留結束原因。如上所述,沙箱當機或後端無法使用仍屬無效且不予評分。

這是一種稀疏獎勵:正向訊號會在成功回合結束時出現。OpenEnv 的獎勵指引建議先從簡單的結果訊號開始,並說明其中的取捨:稀疏訊號可能讓學習速度變慢,而中間獎勵可能促使代理優化替代指標,而非預期結果。

通過檢查的軌跡

這個包含六次行動的序列符合各項檢查。下表摘要列出觀察與產生的狀態。非終止回應也會包含剩餘行動次數。

行動觀察或產生的狀態
1. read_expense("EX-104")一筆 $34 的餐費,附有收據,指派給 M1,狀態仍為 pending。
2. read_policy()超過 $30 的餐費需要指派主管核准。
3. read_approval("EX-104")沒有核准,也沒有請求。
4. request_approval("EX-104", "M1")建立一筆提交給 M1 的待處理請求。
5. set_status("EX-104", "awaiting_approval")EX-104 正在等待核准。
6. finish("awaiting_approval")通過各項檢查;終止獎勵為 +1。

應判定為未通過的最終狀態

考慮從相同重設狀態開始的這個八次行動序列:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

此時費用、請求和完成理由都與通過檢查的序列相符。但第 4 次行動在未取得主管核准的情況下核准了費用。日誌記錄了這次狀態轉換,因此驗證器傳回 0。若只檢查最終狀態,就會漏掉這點。Anthropic 的代理評估指南區分了結果與產生該結果的行動軌跡。

可供調整的規格

提供環境建置者足夠的細節,讓其能針對一項具代表性的任務回答下列問題:

  • **任務:**代理受託做什麼?這個工作流程為什麼重要?
  • **重設:**開始時有哪些紀錄、檔案、政策和外部回應?哪些內容必須清除?同時執行的回合如何隔離?
  • **觀察:**代理可以讀取什麼?哪些內容由驗證器保留?讓代理能取得執行任務所需的規則。
  • **行動與狀態轉換:**允許哪些呼叫?每個呼叫會改變或傳回什麼?無效或重複呼叫會產生什麼結果?
  • **檢查與獎勵:**什麼結果能獲得各項獎勵?哪些無關狀態必須維持不變?日誌中的哪些行動必須允許或禁止?
  • **終止:**什麼情況會結束回合?行動或時間上限是多少?基礎設施故障如何記錄?
  • **涵蓋範圍:**哪些範例應用來測試政策邊界與失敗情況?哪些案例將保留供評估使用?

用於訓練前先檢查環境

請建置者測試通過與未通過的軌跡,包括一個之後又被撤銷的行動。確認重設會移除上一回合的變更、平行執行的回合不會共用可變更的狀態,而且代理無法變更驗證器或其日誌。將政策、測試資料、驗證器、代理執行框架與後端納入版本管理,讓結果可以重現。關於為何應分別記錄任務宣告、執行器覆寫設定與後端政策,請參閱我們的 Terminal-Bench 設定研究中的評估範例。

單一固定費用可能會被記住。加入多樣化案例,例如金額正好位於核准門檻或缺少收據,並為每個案例設定預期結果;另行保留案例供評估使用。先執行通過檢查的軌跡,確認獎勵運作正常,再衡量代理初始執行軌跡達成該結果的頻率,之後再依賴此獎勵進行訓練。

sapien1 協助團隊界定任務環境的範圍並評估代理。從一個工作流程、一項具代表性的任務,以及您需要觀察的結果開始。