メインコンテンツに移動

メニュー

AIエージェントのRL環境を仕様化する方法

言語: 日本語

1つのワークフロー、エージェントが実行できる操作、成功した結果の例をお持ちください。リセット条件、採点ルール、チェック項目を含むタスク環境の範囲設定をお手伝いできます。 プロジェクトについてsapien1に伝える

強化学習(RL)環境は、エージェントがタスクに取り組み、行動し、フィードバックを受け取るための場です。業務ワークフローでは、記録やツールを環境内でシミュレートすることで、毎回既知の状態から試行を始められます。実用的な仕様書には、エージェントが何を見て何ができるか、状態がどう変化するか、試行がいつ終了するか、結果をどう採点するかを記します。

1回の試行をエピソードと呼びます。観測は環境がエージェントに与える情報、報酬はエージェントの行動に関する数値信号です。OpenEnvの基本概念では、リセット、行動、観測、報酬を使って環境を説明しています。

環境はタスクとフィードバックを提供します。RLトレーナーは報酬を使ってエージェントの意思決定方策を更新できます。一方、評価では、環境を使ってエージェントを更新せずにその性能を測定できます。OpenEnvのトレーニング概要と、sapien1のエージェント評価ガイドをご覧ください。

例:エージェントが食事代の経費を審査する

エージェントに食事代の経費を審査し、次の対応を記録するよう依頼したとします。以下は架空の環境仕様であり、構築もテストもされていません。記録と行動はシミュレーションであり、支払いは実行できません。

エージェントに与えるタスクは、**「ポリシーに基づいて経費EX-104を審査し、次の対応を記録してください」**です。

初期状態とリセット

各エピソードの開始時に、以下の記録の独立したコピーを作成します。

項目EX-104EX-105
種類食事食事
金額$34$20
領収書ありあり
ステータスpendingpending
担当マネージャーM1M2
マネージャーの承認なしなし

EX-105は無関係な記録です。エージェントが他の業務に手を加えていないことを検証するために使います。リセットでは、すべての承認依頼と行動ログも消去し、新しいエピソードIDを割り当てます。エピソード中にマネージャーからの応答はありません。エピソードは、同時に実行される場合も含め、変更可能な記録、依頼、ログを互いに分離する必要があります。OpenEnvのコアAPIリファレンスでは、並行環境の要件として、同時セッションの分離を挙げています。

エージェントが参照できるポリシーでは、領収書のある食事代は$50以下であれば精算対象です。$30を超える食事代を承認するには、事前に担当マネージャーの承認が必要です。承認が必要で、まだ得られていない場合、エージェントは承認を依頼し、経費のステータスをawaiting_approvalに設定します。

EX-104には領収書があり、$34は食事代の上限内ですが、承認が必要になる金額を超えています。M1はまだ承認していないため、期待される次の対応は、M1に承認を依頼し、EX-104を承認待ちにすることです。

観測と許可される行動

リセット時に、エージェントはタスク、利用可能な行動のスキーマ、残り行動回数が10回であることを受け取ります。上限に達する前の無効な呼び出しによるエラーを含め、終了時以外の各応答には、残りの行動回数が表示されます。終了時の応答は、エピソードが終了したことを示します。以下のシミュレーション用の行動名は、この例のためのものです。

行動結果
read_expense(id)指定された経費の種類、金額、領収書、ステータス、担当マネージャーを返します。
read_policy()上記のポリシーを返します。
read_approval(id)指定された経費の承認状況と依頼状況を返します。
request_approval(id, manager)指定された経費とマネージャーについて、保留中の依頼を作成します。同じ組み合わせに対して繰り返し依頼しても、保留中の依頼は1件のままです。経費のステータスは変更しません。
set_status(id, status)経費のステータスをpending、awaiting_approval、approved、rejectedのいずれかに設定します。
finish(reason)エピソードを終了し、エージェントの理由を記録します。

エージェントは各行動の応答と報酬を受け取ります。すべての呼び出しとその結果を、エラーも含めてエピソードの行動ログに記録します。これらの行動を通じて、検証器、その基準状態、ログを見たり編集したりすることはできません。経費IDはEX-104とEX-105のみで、マネージャーはM1とM2のみです。モックは、登録済みのどちらのマネージャーに対する依頼も受け付け、ポリシーに違反する場合でも、記載された値の間でステータスを変更できます。これにより、検証器は安全でない判断を観測して採点できます。無効な呼び出しはエラーを返し、経費記録と承認依頼のどちらも変更せず、行動ログに記録され、1回の行動として数えられます。

報酬と終了

エージェントが行える行動はfinishを含めて最大10回です。終了時以外のすべての行動に対する報酬は0です。エージェントが終了すると、検証器は以下のすべての検証項目を満たした場合にのみ**+1**を与えます。

  1. EX-104は金額が$34のまま変わらず、awaiting_approvalの状態で終了する。
  2. EX-104とM1に対する保留中の依頼がちょうど1件存在し、終了理由がawaiting_approvalである。
  3. EX-105に変更がなく、行動ログにEX-105に対して成功したset_statusの呼び出しがない。
  4. 行動ログに、EX-104をapprovedまたはrejectedに変更した記録がなく、別の経費またはマネージャーに対するrequest_approvalの呼び出しもない。

それ以外の終了したエピソードの報酬は0です。10回目の行動でfinishが正常に実行されなかった場合、エピソードは報酬0で終了します。サンドボックスのクラッシュやバックエンドの利用不能が発生した場合、試行は無効となり採点されません。これらの障害はエージェントの結果とは別に記録します。

10回の行動制限は、このタスクの一部です。ロールアウト収集プログラムが独自の制限により未完了の試行をそれより早く終了した場合は、その打ち切りと最後の有効な観測を、採点対象となるタスクの終了とは別に記録します。Gymnasiumでは、このような外部要因による終了をtruncation(打ち切り)と呼び、タスクの終了と区別しています。この区別は、未完了の状態からブートストラップする学習手法にとって重要です。OpenEnv 0.10.0の基本観測にはdoneフラグが記載されています。AgileRLのテキスト観測では、5要素の応答を再構成するために、追加のtruncatedフィールドを保持する方法が説明されています。使用する環境、アダプター、学習器がそれぞれ終了理由をどのように保持するか確認してください。上記のとおり、サンドボックスのクラッシュやバックエンドの利用不能は引き続き無効で、採点されません。

これはスパース報酬です。正の信号は、成功したエピソードの最後に与えられます。OpenEnvの報酬に関するガイダンスでは、まずシンプルな結果に対する信号から始めることを勧め、次のトレードオフを説明しています。スパースな信号からの学習には時間がかかる場合がある一方、中間報酬は、エージェントが本来の結果ではなく代理指標を最適化するよう促す可能性があります。

検証に合格する行動履歴

この6回の行動は検証項目を満たします。表には観測と結果の状態をまとめています。終了時以外の応答には、残りの行動回数も含まれます。

行動観測または結果の状態
1. read_expense("EX-104")領収書のある$34の食事代で、M1が担当し、ステータスはまだpendingです。
2. read_policy()$30を超える食事代には担当マネージャーの承認が必要です。
3. read_approval("EX-104")承認も依頼もありません。
4. request_approval("EX-104", "M1")M1への保留中の依頼が作成されます。
5. set_status("EX-104", "awaiting_approval")EX-104は承認待ちです。
6. finish("awaiting_approval")検証に合格し、終了時の報酬は+1です。

不合格になるべき最終状態

同じリセット状態から始まる、次の8回の行動を考えてみます。

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

この時点で、経費、依頼、終了理由は合格する行動列と一致しています。しかし、行動4ではマネージャーの承認なしに経費を承認しました。ログにはその状態変更が記録されているため、検証器は0を返します。最終状態だけを確認していたら、これを見逃してしまいます。Anthropicのエージェント評価ガイドでは、結果と、その結果を生んだ行動履歴を区別しています。

応用できる仕様書

代表的なタスクを1つ選び、以下の質問に答えられるだけの詳細を環境の構築担当者に伝えます。

  • **タスク:**エージェントは何を依頼され、そのワークフローはなぜ重要ですか?
  • **リセット:**開始時にどのような記録、ファイル、ポリシー、外部からの応答が存在しますか?何を消去する必要があり、同時に実行されるエピソードをどのように分離しますか?
  • **観測:**エージェントは何を読み取ることができ、何が検証器側に保持されますか?タスクの実行に必要なルールをエージェントが参照できるようにします。
  • **行動と状態遷移:**どの呼び出しが許可され、それぞれ何を変更または返しますか?無効な呼び出しや繰り返しの呼び出しがあった場合はどうなりますか?
  • **検証項目と報酬:**どの結果に対して各報酬が与えられますか?無関係な状態のうち、どれを変更せずに保つ必要がありますか?また、ログ内のどの行動を許可または禁止する必要がありますか?
  • **終了:**何をもってエピソードを終了しますか?行動回数または時間の上限はいくつですか?インフラ障害はどのように記録しますか?
  • **網羅範囲:**ポリシーの境界条件や失敗ケースを検証するには、どの例を使いますか?どのケースを評価用に取っておきますか?

トレーニングに使う前に環境を確認する

構築担当者に、後から取り消される行動を含め、合格する行動履歴と不合格になる行動履歴を試してもらいます。リセットによって前のエピソードの変更が取り除かれること、並行エピソードが変更可能な状態を共有しないこと、エージェントが検証器やそのログを変更できないことを確認します。結果を再現できるよう、ポリシー、フィクスチャ、検証器、エージェントハーネス、バックエンドのバージョンを管理します。タスクの宣言、ランナーによる上書き、バックエンドのポリシーを別々に記録すべき理由を示す評価例については、sapien1のTerminal-Bench構成調査をご覧ください。

固定された1件の経費は記憶できてしまいます。承認が必要になる境界額や領収書のないケースなど、さまざまなケースを追加し、それぞれに期待される結果を定めます。評価には別のケースを確保します。合格する行動履歴を実行して報酬が機能することを確認し、トレーニングに用いる前に、初期のエージェントのロールアウトがその報酬に到達する頻度を測定します。

sapien1は、チームによるタスク環境の範囲設定とエージェントの評価を支援します。ワークフロー、代表的なタスク、観測したい結果から始めましょう。