AI学習データの購入方法
言語: 日本語
モデルが学習する必要のある内容と、サンプルが有用かどうかを判断する方法をお聞かせください。コレクションのライセンス取得を決める前に、適切なソースと確認すべきエビデンスについてご相談いただけます。 プロジェクトについてsapien1に伝える
既存のデータセットのライセンスを取得する、データの所有者と直接契約する、特定のタスクに合わせた収集を委託する、といった方法があります。契約を決める前に、モデルが何を学習する必要があるかを明確にし、その要件に照らしてサンプルをテストして、提示された条件が予定する用途をカバーしているか確認しましょう。
大切なのは「どれだけのデータがあるか」だけではありません。チームが利用できる事例や背景情報がレコードに含まれているか、また合意したライセンスが関係する人、システム、目的をカバーしているかが重要です。
データの入手先を選ぶ
| 調達方法 | 検討する場面 | 最初に確認すること |
|---|---|---|
| 既存のデータセット | 必要なデータがすでに存在する可能性がある場合。 | どのバージョン、フィールド、対象期間、利用条件が含まれますか? |
| データ所有者との直接契約 | 関連するレコードやコンテンツを1つの組織が保有している場合。 | 提案した用途を誰が許可でき、どの資料が対象になりますか? |
| カスタム収集または加工 | 既存の資料には重要なシナリオ、形式、ラベルが欠けている場合。 | 何を収集または加工し、どのように品質を確認し、その後何を利用できますか? |
| 公開データセット | 入手可能なデータがタスクに適している可能性がある場合や、最初の比較対象になる場合。 | 出典、制限事項、許可される用途について、ドキュメントには何と記載されていますか? |
例えば、Opendatabayはデータセットが掲載されるマーケットプレイスを提供し、Clickworkerはカスタム収集とアノテーションのサービスを案内しています。これらは調査の出発点です。必要なデータについて、提供内容と条件を確認しましょう。
調達先に相談する前にタスク、カバーすべき範囲、形式をどう説明するかは、データ調達ガイドで解説しています。
各データ例に何を含めるか決める
期待する動作と、それを評価するために必要な情報を書き出しましょう。サポートエージェントの場合、顧客の依頼、当時適用されていたポリシー、取った対応、結果をレコードに含める必要があるかもしれません。文書モデルの場合は、ページ画像、抽出されたテキスト、レイアウト、検証済みのラベルが重要なフィールドになるかもしれません。
文書のサンプルにラベル付きの矩形が含まれる場合は、その矩形が納品された画像と一致しているか確認しましょう。形式によっては位置をページの寸法に対する割合で表し、ピクセルを使うものもあります。ページ、画像のバージョン、単位、座標の原点、サイズ変更・トリミング・回転の有無を確認したうえで、サンプルの矩形を画像に重ねて位置を確かめます。また、ラベルが適切な領域を示しているかも確認しましょう。
対象となる正確なデータセットのバージョンについて、出典、サイズとその単位、対象期間、形式、ラベル、把握されている除外事項、加工履歴の説明を求めましょう。Hugging Faceのデータセットカードに関するガイダンスでは、カードに内容や背景、ライセンス、言語、サイズなどのメタデータを記載する方法を説明しています。これらの項目は、根拠となるドキュメントとあわせて確認する情報として扱いましょう。
要件に照らしてサンプルをテストする
対象を広げるかどうかを決める前に、サンプルと確認項目について合意しましょう。モデルが遭遇する通常の状況と、タスク上重要な難しいケースの両方を含めます。サンプルの選定方法と、提案されたデータ全体のどの部分を代表しているかを記録しましょう。
2026年11月18日に確認したOrigin LabのMarketplace Termsでは、同規約で定義されるマーケットプレイスのサンプルの利用を社内評価に制限し、Origin Labが締結した適用対象の商用契約に明示的な別段の定めがない限り、AIシステムのテストや評価にサンプルを使用することを禁止しています。このサンプルの制限には、別途定義され独自の条件が適用されるBench Materialsは含まれません。サンプルの確認、テスト、学習への使用、共有を行う前に、そのサンプル固有の条件と契約を確認しましょう。
単語ごとのタイムスタンプが付いた音声サンプルでは、どの録音と時間単位を使っているか確認しましょう。タイムスタンプが無音部分を削除したコピーを参照している場合は、元の録音の識別子と、残された区間を元のタイムラインに対応付けるマップを求めます。途中のカット位置より後にある単語を確認しましょう。架空のサンプルで、元音声の2〜4秒と7〜9秒を間に何も挿入せずにつないだ場合、サンプルの2.5秒は元音声の7.5秒に対応します。最初の区間の2秒というオフセットを足すと4.5秒となり、削除された部分の中に入ってしまいます。NeMo Curatorのタイムスタンプ対応付け
タイムスタンプが接合箇所をまたぐ単語を、納品データでどのように示しているか確認しましょう。同じ架空のサンプルでは、テストしたfaster-whisperのヘルパーは接合箇所をまたぐ区間の両端に同じオフセットを選び、開始位置を削除された部分の中に置きました。用途上、元の録音内で連続した区間が必要な場合は、そのようなケースを受け入れる前に、フラグ付けとレビューの方法に合意しましょう。faster-whisperのタイムスタンプ復元・faster-whisperのオフセット計算
次の架空の例を考えてみましょう。あるチームが、返品依頼に対する次の対応を提案するサポートエージェントをファインチューニングしたいと考えています。サプライヤーはサポート事例のデータを提案しました。チームは確認用に、通常の返品6件と例外6件の計12件の事例を求めます。最初のレビューでは、すべての事例に顧客の依頼、適用されたポリシーのバージョンへのリンク、記録された結果が含まれることを要件とします。
| 確認項目 | このサンプルの要件 | 結果の例 |
|---|---|---|
| 顧客の依頼 | 12件すべてに含まれている | 12件中12件に含まれている |
| 適用されたポリシーのバージョン | 12件すべてにリンクがある | 12件中10件にリンクがあり、例外2件にはない |
| 記録された結果 | 12件すべてに含まれている | 12件中11件に含まれ、通常の事例1件には結果がない |
このサンプルは、チームが定めた確認項目のうち2項目を満たしていません。次に、不足しているポリシーへのリンクと結果を復元できるか確認し、修正されたサンプルをレビューします。復元できない場合、チームは要件を変更するか、別の調達先を探せます。記録された結果が自動的に正しい判断となるわけではありません。対象分野のレビュアーが、結果を適用ポリシーと照らし合わせることも必要です。
これらの件数が示すのは、選ばれた12件の事例についてのみです。データ全体のエラー率を推定するものではありません。より広い範囲の網羅性を評価するには、関連するシナリオごとのデータセットの分布を確認し、文書化された方法で追加のサンプルを抽出することに合意しましょう。Googleのデータ品質とサンプリングに関するガイダンスでは、選定されたサンプルが、より大きな母集団について誤解を招く印象を与えうる理由を説明しています。
この12件がすべて2024年のもので、提供されるデータが2022〜2024年を対象としているとします。修正済みのコピーを確認すれば、それらの事例への修正は確認できますが、残りのデータが修正されたかどうかはわかりません。どのバージョンのデータセットとどのレコードが修正されたかを確認し、購入予定のバージョンから新たなサンプルを選ぶ方法に合意しましょう。2024年分しかレビューできない場合は、2022〜2023年分を未評価のままとし、購入範囲を絞るか、より広い範囲のレビューを待つかを決めます。
初回レビューのために実際のレコードを共有できない場合は、機密情報などを取り除いたサンプルや、アクセスを制限した環境を用意できるか確認しましょう。合成データの例で形式を示すことはできますが、実際のデータの品質や網羅性を確認することはできません。
サンプルを受け取る前に、アクセスをどのように制御するか合意しましょう。特定の列を選択するクエリだけでは、元のファイルの残りの部分へのアクセスは制限されません。Parquetのフッターにも列の統計情報が含まれる場合があります。送信側が共有境界を越えて渡る情報を制限する必要がある場合は、承認済みのフィールドだけを含むサンプルを別途用意するか、フィールド単位のアクセス制御を適用するサービスを検討しましょう。返されるレコードとあわせて、メタデータとアクセス制御も確認します。
データをどのように使えるか確認する
契約と裏付け資料が、対象となるデータセットとプロジェクトに合っているか確認しましょう。サプライヤーや法務・調達のレビュー担当者と話し合う質問には、次のようなものがあります。
- どのバージョンのデータセットが対象ですか。また、サプライヤーには提案された利用を許諾する権限がありますか?
- 必要に応じて、学習、ファインチューニング、評価、検索は含まれていますか?条件には、商用環境への導入や、モデルまたは出力に関する該当する制限が定められていますか?
- 委託先やサービス提供者を含め、誰がデータにアクセスし、処理できますか?納品、保存、保持、削除の条件はどうなっていますか?
- 確認が必要な除外事項、上流の権利、第三者の資料、その他の制限はありますか?データの出所と許諾に関するサプライヤーの説明を裏付ける証拠はありますか?
確認できたことと、まだレビューが必要なことを分けて記録しましょう。ライセンスの表示やデータセットカードは、主張されている利用条件を把握するのに役立ちますが、それだけで基礎となる権利を検証できるわけではありません。公開テキスト・音声・動画データセットの監査では、データセット単位のライセンスの説明と、元コンテンツに関連する制限との間に違いが見つかりました。この調査結果は、調査対象となった公開データセットに関するもので、すべての商用データに当てはまるものではありません。
例えば、特定の時点に固定された公開研究用データセットSciFactのカードでは、データセットをCC BY-NC 2.0と説明し、変更される可能性のあるリポジトリのmasterブランチ上のライセンスファイルにリンクしています。そのライセンスの固定スナップショットでは、リポジトリは別途、主張と根拠のアノテーションにCC BY 4.0、コーパスの抄録にODC-By 1.0、コードにApache 2.0が適用されると説明しています。これらの文書は異なるバージョン、構成要素、加工後のデータを説明している可能性があり、それだけで特定のファイルに適用される条件を確定するものではありません。納品されたファイルとその上流の構成要素を関連ドキュメントに対応付け、未解決の権利に関する疑問はレビューを受けましょう。
評価と納品の計画を立てる
ファイル形式、マニフェストまたはバージョン識別子、ドキュメント、サンプルの確認項目、問題の修正方法など、データの納品方法と受け入れ方法を決めましょう。モデルの評価にもデータを使う場合は、別のテストセットが学習に使われないよう保護し、分割したデータ間に重複がないか確認します。Googleのデータセット分割に関するガイダンスでは、重複によってテスト結果が実際より良く見える仕組みを説明しています。
検査期間の開始時点、通知方法、通知しなかった場合の扱い、適用される救済措置を確認しましょう。例えば、ai.marketの標準AI学習ライセンスのバージョン1.0では、購入者が掲載内容との重大な不一致をマーケットプレイスに通知する期限を、初回納品後の暦日で7日間と定めています。2026年11月12日更新のmicro1の基本条件では、ライセンシーであるmicro1がデータを文書で拒否する期限を、マニフェストに基づく納品完了後30営業日と定めています。サプライヤーが残りのデータを納品できないとmicro1に文書で通知した場合は、別の起算条件が適用されます。これらの文書は異なる取引に適用され、ほかにも条件や例外があります。注文を規定する条件とバージョンを確認しましょう。
マニフェストには、合意したデータセットのバージョンについて、納品予定のファイルとチェックサムを記載できます。マニフェストの出所をどのように検証するか、ファイル一覧を実際の納品物とどう照合するか、不足、想定外、不一致のファイルをどう調査するかについて合意しましょう。例えば、架空のマニフェストにファイルが2つ記載されているのに1つしか届かなかった場合、そのファイルのチェックサムが一致していても、納品は完了していません。BagIt仕様では、あるパッケージ形式における完全性とチェックサムの検証を区別しています。チェックサムの一致は、ファイルから計算したダイジェストがマニフェストと一致することを示します。それだけで送信者の身元、ラベルの正確さ、代表性のある網羅範囲、データを利用する権利が確認されるわけではありません。これらは別途確認しましょう。
サプライヤーから次のバージョンが届いたら、AIデータの定期納品を受け入れる方法をご覧ください。
テストセットへのデータ漏洩と不足している背景情報を確認する具体例は、データセット評価ガイドをご覧ください。
sapien1は、データ要件の整理、調達先の候補の特定、サンプルの評価を支援します。タスク、必要な事例、サンプルをもとに下す判断から始めましょう。相談に向けて準備するデータ所有者は、データライセンスの準備ガイドをご活用ください。