メインコンテンツに移動

メニュー

実際に任せたい作業でAIエージェントを評価する

ページの言語: 日本語

代表的なタスクと、エージェントが達成すべき結果をお持ちください。明確なチェック項目を設け、合格、不合格、採点対象外の実行を報告するテストの範囲を定めることができます。 プロジェクトについてsapien1に伝える

AIエージェントの評価では、実際の利用時と同じ情報、ツール、制約のもとでタスクを完了できるかを調べます。期待する結果を定義し、何が変わったかを確認し、その結果に至る手順を検証します。

sapien1は、タスクセットの範囲の設定、評価用データの検証、エージェントのテスト環境の開発を支援します。まず一つの業務フローと、評価結果を使って判断したいことを決めます。

業務フローをテスト可能なタスクにする

タスクには、開始時の状態、依頼内容、観察可能な成功条件が必要です。エージェントの最終メッセージは判断材料の一つです。作業が完了したかは、生成ファイル、レコード、ツールの状態からも確認できます。

Anthropicのエージェント評価ガイドでは、タスク、個々の試行、採点器、実行トレース、環境内の結果を区別しています。この区別により、失敗の原因がエージェント、テスト、環境のどこにあるかを特定しやすくなります。

例として、サポート用エージェントが配達先の変更を頼まれたとします。テストでは、注文レコード、顧客の依頼、適用される方針を渡せます。実際の作業に即して、次のような確認項目を設けます。

作業の要素確認項目の例
注文を特定する依頼で指定された注文を選択したか
方針を適用する提示したルールと注文の状態に沿って判断したか
変更を行う変更が許可される場合、注文レコードに指定の住所が反映される。許可されない場合、住所は変わらない。
ほかの項目を保つ商品、数量、無関係なレコードが変わっていないか
結果を説明する実施した操作や、追加で必要な情報を正確に説明したか

これはタスク仕様の一例です。実際の確認項目は、自社の方針と業務フローに合わせて決めます。

操作の許可と操作後の状態を確認する

ユーザーが、注文Aの住所を1 Example Laneから2 Example Laneへ変更することを許可したとします。注文Bの元の住所は3 Example Laneで、この依頼の対象外です。以下の架空のトレースは事前に作成したもので、シミュレーションで操作の許可を確認する際に記録し得る内容を示しています。

エージェントからツールへの要求許可の判定記録された結果
注文A:住所を2 Example Laneに変更許可変更を実行
注文B:住所を4 Example Laneに変更拒否変更を阻止

トレースには、許可された要求と範囲外の要求が記録されます。この例で状態を確認すると、注文Aは2 Example Laneに変わり、注文Bは3 Example Laneのままです。要求が拒否されたことと、変更が実行されたことは別の結果です。エージェントの回答とともに、許可の判定と最終状態を保存します。

Anthropicのエージェント評価ガイドでは、試行のトレースと試行後の状態を区別しています。AWSのツール利用権限に関するガイダンスでは、エージェントからツールへの要求を確認し、許可・拒否の判断を見直す方法を説明しています。この架空のトレースは確認方法の一例であり、システムの安全性を証明するものではありません。

対応済みの事例からテストを作る

別の架空のサポート履歴に、次の経緯が記録されているとします。10:00に、本人確認済みの注文Aの所有者が、注文の配達先を1 Example Laneから2 Example Laneに変更するよう依頼します。注文は出荷準備中です。当時の方針では、出荷前に本人確認済みの所有者から依頼があれば、住所を変更します。10:05のサポートメモには、住所を変更したことが記録されています。

10:00時点の判断をテストするには、依頼、注文の元の状態、その時点で有効な方針をエージェントに渡し、テストツールもその状態から開始します。エージェントの作業中は注文を出荷準備中のままにします。10:05のメモはレビュー担当者が参照できるようにし、このテストの初期プロンプトやツールが参照できるレコードには含めません。そうしないと、作業を求められる前にエージェントが結果を見てしまう可能性があります。

レビュー担当者は、10:00時点の方針から期待する結果を判断します。注文Aの最終的な住所は2 Example Laneです。無関係なレコードが変わらないことも、このテストの要件にします。10:05のメモが示すのは実際に起きた結果です。処理が正しかったかは方針に照らして判断します。適用される方針や処理前の状態を特定できない場合は、その事例を別途レビューに回します。実データを使う前に利用許可を確認し、機微な項目は適切に扱います。

Inspectのデータセットガイドでは、モデルへの入力と、採点に使える参照結果を区別しています。サンプルファイルを隔離された環境にコピーできることも説明しています。レビュー担当者だけが見るべき情報がプロンプト、取得した資料、ツールの応答、隔離環境内のファイルに紛れ込んでいないかを調べます。データセットに採点用の参照結果が別に用意されている場合も、同じ確認が必要です。

判断に合った根拠を選ぶ

項目の変更、計算結果、生成ファイル、テストの合否など、結果を観察できる場合は直接確認します。説明の明確さや、調査回答が結論を裏づけているかを調べる際など、人による解釈が必要な場合は、文書化した評価基準を使います。

自動採点器は、大量の出力を確認するのに役立ちます。そのスコアに頼る前に、代表的な例で自動採点器の判断と人の評価を比較します。不一致を記録し、評価基準や採点器の改善に使います。

モデルが文章を使っているか確かめる

タスクへの入力、ツール、エージェントの設定、結果を記録します。実行間のばらつきが判断に影響するなら、試行を繰り返します。失敗した実行だけでなく、予想外に成功した実行も調べます。高スコアは性能の高さを示すこともありますが、テストの弱点を覆い隠すこともあります。Anthropicのガイドでは、採点器と試行の設計に関する考慮事項を解説しています。

採点前に事例IDを確認する

過去のレコードから事例を作るときは、期待結果とテスト結果の両方に事例IDを残します。事例ごとに一つの結果を採点する前に、両方のファイルを想定されるIDの一覧と照合します。想定される各IDは、各ファイルにちょうど一度現れる必要があります。欠損、重複、想定外のIDに関する問題を解消します。実行を繰り返す場合は、試行IDも記録します。

事例AとBを想定します。どちらのファイルにもAと、IDのない行が一つずつあります。Aの期待結果とテスト結果は一致しません。IDのない二行のラベルは同じです。pandasの結合では、一対一の検証を通過しても欠損キー同士が結合される場合があります。結合した行を数えると、二組のうち一組が一致します。想定IDと対応を確認できるのはAだけです。特定できた部分集合は一件中一致ゼロで、想定した二件中一件をカバーしています。IDがないため、二行のいずれかがBかどうかは分かりません。このため、想定した二件全体のスコアは確定できません。意図的に部分集合だけを採点する場合は、スコアと対象範囲を併記します。

ベンチマークスコアを比較する

判断に合わせて反復試行を読み解く

チームが二つのタスクをそれぞれ三回テストし、各試行の前にタスクの開始状態を復元したとします。次に示すのは確認結果の架空例です。

タスク一回目二回目三回目
A合格不合格合格
B合格合格不合格

六回中四回が合格しました。両タスクとも少なくとも一回は合格しましたが、三回すべてで合格したタスクはありません。この二つの集計が答える問いは異なります。システムが複数の出力候補を確実に確認して選べるなら、時々正しい結果が出ることにも意味があります。各試行が単独で機能しなければならない場合は、繰り返し成功することが重要です。一回の合格でほかの試行の安全性や正しさが保証されるわけではありません。

七回目の試行が、隔離環境で確認された外部要因による障害で、採点前に停止したとします。採点した六回では四回が合格しました。試行全七回のうち、合格が確認できたのは四回です。採点できなかった試行は、合格が確認された試行にも、エージェントの失敗が確認された試行にも入りません。前者の比率は採点した試行についての集計です。後者は全試行のうち合格を確認できた割合を示します。タスクの重みづけや指標の設定が異なれば、報告する結果も変わり得ます。

この数値は上記の架空の確認結果だけを示し、実運用の成功率を表すものではありません。タスク数、タスクごとの試行数、実施した確認、隔離環境の障害などのインフラ問題で無効になった試行を記録します。無効な試行はエージェントの失敗と分けて報告し、各集計に含めた試行を示します。一つのタスクを繰り返すと、そのタスクでのばらつきが分かります。より幅広い状況もテストします。Anthropicのエージェント評価ガイドでは、一度でも成功することと、一貫して成功することを測る指標が、異なる判断に役立つと説明しています。

スコアを計算する前に評価対象の範囲が変わることがあります。sapien1のGDPvalの参照成果物のカバレッジ分析では、公開タスク220行のうち185行に、専門家が作成した成果物を指すパスが少なくとも一つ記載されています。この185行の業界構成は表全体とは異なります。パスの記載だけでは、ファイルにアクセスできるか、表示できるかは分かりません。

操作で状態が変わる場合はテスト環境を用意する

エージェントがレコードを編集したり、ソフトウェアを操作したり、複数のツールを使ったりするなら、操作を実行する場所が必要です。再現可能なテスト環境があれば、開始状態を復元し、実行後の結果を調べられます。

OpenEnvは、エージェント向けの隔離環境を作るためのオープンなフレームワークです。タスク、エージェントが見られる情報、実行できる操作、成功条件の確認方法を決めてから、フレームワークを選びます。

タスクごとに申告リソースがどう違うかは、Terminal-Benchの66タスクのリソース設定を参照してください。

最初の評価に向けた要件のひな形

業務フロー、代表的なタスク、成功した結果の特徴を記述します。エージェントが使うツール、与えられる情報、リリース判断を左右する失敗を明記します。すでに事例があれば、その出典と対象範囲も記述します。

範囲を定めたプロジェクトでは、タスクセット、環境の要件、採点方法、結果のレビュー方法を定義できます。事例が不足している場合は、データの調達から始めます。

エージェント評価についてメールで問い合わせる