AIの学習と評価に向けたデータ調達
ページの言語: 日本語
モデルのタスク、必要な素材、許可される用途をお伝えください。sapien1は、候補となるソースの特定と、先に進むかどうかを判断する基準を含めたサンプルの範囲設定をお手伝いできます。 プロジェクトについてsapien1に伝える
AIが担うタスクに適したデータを探しましょう。sapien1は、要件の整理、データソースの候補探し、データセットが学習、評価、情報検索に適しているかの判断を支援します。
まず改善したい振る舞いを決めます。たとえば、文書を理解する、業務を完了する、ツールを使う、場面を読み取るといった振る舞いです。その選択によって、必要な例や文脈、品質の確認方法が決まります。
データの役割を決める
同じデータの集まりでも、いくつかの用途があります。学習用の例は振る舞いを教え、評価用の例はその振る舞いを検証します。情報検索用のコンテンツは、システムが質問に答える際に参照できる情報を提供します。
データソースの比較に入る前に、使い道を明記します。サポートエージェントの学習では、問い合わせに適用される規定と実際の対応を組み合わせた例が役立ちます。評価タスクには、判断が正しかったかを確認できる明確な方法も必要です。情報検索用のコレクションには規定そのものと、どの版が適用されるかを判断できる文脈が必要です。
調達要件に含める項目
| 項目 | 記載する内容 |
|---|---|
| タスク | モデルやエージェントに求める動作と、現在うまく処理できていないこと |
| 網羅範囲 | 関連する分野、言語、地域、期間、難しい事例 |
| データ形式 | 文書、コード、レコード、音声、画像、動画、ツールの実行履歴、またはそれらの組み合わせ |
| 文脈 | 例を解釈するために必要なラベル、タイムスタンプ、関係、指示、結果 |
| 用途 | 学習、評価、情報検索のどれに使うかと、データへのアクセス方法 |
| 受け入れ基準 | プロジェクトを拡大する前に、有用なサンプルで何を確認できる必要があるか |
初回の要件書では、未確定の事項があっても構いません。必要なファイル数だけを決めるより、具体的なタスクと代表的な例をいくつか示す方が、たいていは検討を始めやすくなります。
規模を広げる前にサンプルを評価する
サンプルを確認すると、文脈の欠落、ラベルの不整合、重複、必要な場面の抜けが見つかることがあります。候補のデータ形式が自分たちの作業に合うかも試せます。具体的な確認例は、AI学習データの購入ガイドをご覧ください。
技術的な評価結果と併せて、データの出所と許可された利用方法を記録します。データセットの説明には、内容と関連する制約をわかりやすく示します。記載内容の参考にはHugging Faceのデータセットカードのガイドが役立ちます。
所有者がコレクションをどう説明し、どの権限を確認するかについては、企業データのライセンス提供前に準備することをご覧ください。
ご自身で保有するコレクションについて相談したい場合は、データの内容をお知らせください。
sapien1と進めるプロジェクトでは、調達の範囲、サンプルの確認、納品物、受け入れ基準を一緒に決めます。次の段階として、対象を絞ったデータ収集、すでに保有するデータの評価、またはエージェント評価用のタスクセットが考えられます。