多言語の読解テストを選ぶための検証結果

TyDi QA、XQuAD、MLQA、Belebeleの特定のリリースに含まれる質問と言語を比較しました。件数は、ガイドで使用したファイルのものです。

TyDi QAのファイルには共通する質問がどれだけあるか

開発用ファイルを言語、記事のタイトル、質問の正確な文言で照合しました。Gold Passageの5,077行はすべて、primaryの18,670行のいずれかと一致しました。共通する9言語では、Gold Passageファイルに、少なくとも1人のアノテーターが記述式の回答を付けたprimaryの1,285行が含まれていません。primaryの開発用ファイルには日本語とタイ語が含まれていますが、Gold Passageファイルにはこの2言語の行がありません。

記事全体と短い入力を比べるには、同じモデルに記述式の回答を2回求めます。短い文章は記事から正確にコピーしてください。設定、質問、回答形式、正解として認める回答、採点ルールは同じにします。正解として認める回答がそれぞれ両方の入力に含まれていることを確認してください。Gold Passageを提供されたまま使う場合は、抜粋とその正解リストを確認してください。質問による照合で、ファイル間の共通する質問が分かります。文章の本文や正解として認める回答は異なる場合があります。

著者によるprimaryとGold Passageの各評価では、いずれも全体平均から英語を除外しています。

言語別の件数(JSON) · 比較スクリプト(Python) · リビジョンを固定したprimary開発用ファイル · リビジョンを固定したGold Passage開発用ファイル · 公式の採点ルール

2つのソースファイルをそれぞれprimary.parquet、gold.parquetとして保存します。スクリプトと件数のファイルを同じディレクトリに保存し、比較を実行してください。スクリプトは読み込み前に2つの入力ファイルのダイジェストを検証します。

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

XQuADのどの質問がSQuADに由来するか

英語版XQuADの1,190件のIDはすべて、SQuAD 1.1の開発用ファイルにある質問と一致します。それらのIDについては、記事のタイトル、文章、質問の文言が完全に一致します。確認したXQuADのリビジョンでは、初回リリース後に追加されたルーマニア語のファイルを含む全12ファイルで同じIDが使われています。

質問の件数と一致状況(JSON) · XQuADの原論文 · リビジョンを固定したXQuAD · リビジョンを固定したSQuAD開発用ファイル

MLQAで質問の言語を変えても何が変わらないか

英語とベトナム語の4つの開発用ファイルには、共通する質問IDが511件あります。文章を英語のままにして質問を英語からベトナム語に切り替えると、質問は511件すべてが変わりましたが、文章と正解リストは1件も変わりませんでした。この検証では、各文章と、保存されたオフセットを含む正解リストを順序も含めて比較しています。両方の実行結果の採点には、同じ英語の正解を使ってください。

ファイルの比較件数(JSON) · 公式のMLQAダウンロード · MLQAの原論文

4つのファイルセットにはどの言語が含まれているか

TyDi QAのprimaryとGold Passageの開発用ファイル、リビジョンを固定したXQuADのリリース、質問と文章が同じ言語のMLQA開発用ファイルを確認しました。4つのセットすべてに含まれる言語はアラビア語と英語だけです。タイ語はTyDi QAのprimaryとXQuADに含まれ、Gold Passageには含まれていません。

ファイルセット別の言語コード(JSON)

タイ語の選択式テストはどこにあるか

Belebeleにはtha_Thai.jsonlという名前のタイ語ファイルがあります。文章を読んだ後に4つの選択肢から1つを選ぶようモデルに求める質問に使えます。

リビジョンを固定した著者提供のタイ語ファイル · Belebeleの原論文 · 選択式の読解スコアを言語間で比べる方法