メインコンテンツに移動

メニュー

研究

評価用のParquetデータを受け入れるときの確認方法

言語: 日本語

スコアを報告する前に、どの納品データが届いたか、読み取りソフトがどのケースを選び、どのラベルを使ったかを確認します。納品時の取り決めに沿って確認項目を選びます。固定版では、指定したファイルを指定したパスに置く必要がある場合があります。書き直しが認められている場合は、ケースIDとラベルを保てば、ファイルや行の順番を変えられることがあります。

指定どおりに納品されたか、どのケースを採点するかを確認する

各Parquetファイルの相対パスとSHA-256を対応させます。パーセントエンコードされた文字も含め、届いたパスの表記をそのまま使います。抜けや余分なパスがないかも含めて、対応関係全体を確認します。実際に使う読み取りソフト、バージョン、パーティション設定で採点用フィルターを実行します。得られたIDを承認済みの一覧と照合し、取り決めが一ケース一行ならIDの重複も確認します。

三つの分割ファイルからなる架空の納品例では、想定するケースはcase-aとcase-bで、両方とも正しい結果です。二つの配置でファイルのチェックサムの一覧は同じで、試した読み取りソフトはいずれも二件を選びます。

確認できた結果確認が必要な点
元の納品データをPyArrowでURIデコードすると、case-aとcase-bが選ばれるパスとファイルの対応も、ケース一覧も一致します。
元の納品データのパスをPyArrowで表記どおりに読むと、case-cとcase-dが選ばれるパスとファイルの対応は一致します。ケースが異なるため、採点を保留します。
分割ファイルを入れ替えてPyArrowでURIデコードすると、case-cとcase-dが選ばれるパスとファイルの対応が変わり、ケースも異なるため、採点を保留します。
分割ファイルを入れ替えてパスをPyArrowで表記どおりに読むと、case-aとcase-bが選ばれるケース一覧は一致します。パスとファイルの対応が変わったため、採点を保留します。

元の配置では、URIをデコードするPyArrow 26.0.1が、split=test%252Fgold をパーティション値 test%2Fgold として扱います。パスの各部分を表記どおりに読むと、同じクエリで split=test%2Fgold というフォルダーが選ばれます。元の配置をこの方法で読むと、正しい結果は二件中一件です。この例では、Hiveパーティションを使うDuckDB 1.4.4の結果は、どちらの配置でもURIをデコードした場合の結果と同じです。

パーティションがパスとファイル内の列の両方に記録されている場合は、両方を確認します。別の四件の例では、内容を変えずに二つの分割ファイルを入れ替えると、四件の食い違いが生じます。Hiveパーティションを明示すると、試した二つのソフトはどちらもパスに従ってケースを選びます。ファイル内の列だけを読む場合は、そこに保存された区分を使います。採点前に、取り決めに照らして食い違いを解消します。

書き直しが認められている場合はケースIDでラベルを確認する

採点ソフトが読み取った値を使い、書き直したデータを承認済みのケースとラベルの対応と照合します。別の架空の八行の例では、行を丸ごと並べ替える場合と二つのラベルを入れ替える場合の両方でファイルのバイト列は変わりますが、末尾にシリアライズされたメタデータは同じです。IDで照合すると、行の並べ替えではラベルの変更はゼロ件で、ラベルの入れ替えでは二件です。行順を変えてよいなら、並べ替えはラベルの確認に合格します。ラベルの入れ替えは末尾のメタデータとラベルごとの件数が同じでも不合格です。

納品データの識別情報、採点用の読み取りソフトとフィルター、不足や想定外のID、変更されたケースとラベルの組を記録します。次の確認担当者が各受け入れ判断を再現できます。