メインコンテンツに移動

メニュー

AI向けデータの定期納品を受け入れる方法

言語: 日本語

想定するスキーマ、納品頻度、バッチが使用できなくなる条件をお聞かせください。受け入れ時のチェックと、合格した項目や修正が必要な項目の記録について、範囲設定をお手伝いできます。 プロジェクトについてsapien1に伝える

定期納品されたデータセットを適用する前に、チームが最後に受け入れたバージョンと照合します。新しいファイルが合意した範囲のデータ全体を置き換えるものか、特定のバージョンを起点とする差分なのかを確認します。起点のバージョンが誤っていても、ファイルの検証には合格する場合があります。

新しい納品の対象範囲を確認する

リリースの識別子、対象範囲、マニフェストを入手します。全体を置き換える場合は、完全なデータセットがカバーする範囲を確認します。差分の場合は、前提となるバージョンと、追加、更新、削除を提供元がどう表すかを確認します。変更のないレコードは差分ファイルに含まれないことがあります。AWS Data Exchange のドキュメントでは、更新済みの完全なデータセットと、前回のリビジョン以降の新しいデータを含むリビジョンの両方が説明されています。 AWS Data Exchange のリビジョンに関するドキュメント

ファイル名とチェックサムを、合意したマニフェストと照合します。そのうえで、起点のバージョンとレコードの変更内容が納品の取り決めに沿っているかを別途確認します。BagIt はファイルのマニフェストとチェックサムの検証を規定しています。 BagIt の仕様

検証環境で更新を適用し、更新後のレコードを確認する

この架空の例では、購入者がカタログフィードから学習用データセットに入れるレコードを選びます。受け入れ条件は、起点のバージョンが厳密に一致し、学習用データセットが参照する統合済みレコードに有効な統合先があることです。最後に受け入れたのは R12 で、有効な ID は A14、A27、A38、A52 です。R13 の最初のパッケージはファイルの検証に合格しましたが、起点として R11 を要求します。購入者は R12 の使用を継続し、R12 からの差分か、合意した範囲の完全な置き換えデータを求めます。

提供元は R12 を指定した修正版 R13b を送ります。購入者は新しいファイルを検証し、そのデータの取り扱いが承認された検証環境で、コピーに差分を適用します。

レコードR13b の変更内容または想定される状態R13b を受け入れる前の確認
A14トピックを returns から exchanges に変更R12 の旧値と検証環境で適用した後の新しい値を確認します。
A27A38 に統合A27 が有効なレコードの集合から外れ、現在の参照が A38 に解決されることを確認します。
A38有効な統合先として残る統合先のレコードが存在することを確認します。
A52差分に含まれない変更のないレコードが引き続き有効であることを確認します。
A65レコードを追加新しい ID が1回だけ出現することを確認します。

更新後に有効な ID は A14、A38、A52、A65 のはずです。どちらのバージョンにも有効なレコードが4件あるので、行数だけでは ID の入れ替わりを見落とします。A38 がなければ、購入者は R13b の受け入れを保留し、参照切れの解消を提供元に求めます。この例では検証に合格したため、購入者は R13b を受け入れ、R13 は起点バージョンの不一致で保留と記録し、各パッケージのマニフェストのダイジェストも残します。

現行版と過去版の参照先を利用できる状態に保つ

削除されたレコードに統合先の ID があるかどうかを確認します。OpenAlex では、他の著作物に統合された著作物の ID が削除ファイルに含まれます。別途提供される統合マップには、把握できた範囲で、掲載された各 ID の現在の統合先が示されます。契約で識別子の保持が認められている場合は、提供された ID、現在その ID が解決される先、解決に使用した納品バージョンを記録します。統合先がそのリリースで有効であることを確かめます。 OpenAlex の同期に関するドキュメント

テーブルの移行後に以前の学習用データセットを再現する必要がある場合は、移行前の選択条件、移行先で使う予定の参照先、基準時刻があればそのタイムゾーンと時刻の基準を記録します。使用する前に、両方の選択条件を実際に使うシステムで試します。sapien1 が空の Delta テーブルを Iceberg 1.12.0 でローカル再現した際、以前のスナップショットにはバージョンタグから引き続きアクセスできました。2番目の Delta ログファイルの時刻で検索したところ、Iceberg が公開した履歴に一致する項目はありませんでした。 Iceberg の移行調査

次回の納品に備えて判断を記録する

起点となるバージョン、受領したリリース、マニフェストの識別子またはダイジェスト、有効な ID の確認結果、未解決の参照、受け入れまたは修正依頼の判断を記録します。削除を示す情報が契約上何を意味するかを提供元に確認し、保持するコピーや識別子に適用されるルールに従います。

受け入れ基準の策定について相談したい場合は、最後に受け入れたバージョン、更新形式、判断したい内容を添えて sapien1 にメールでご連絡ください。

提供元を検討している段階なら、まず AI 学習用データの購入ガイド をご覧ください。タスクと必要なデータの整理には、データ調達ガイド をご参照ください。