読解ベンチマークガイドの根拠
これらの確認には、元の Belebele と FLORES-200 のアーカイブ、および公開されている MLQA の開発用ファイルを使いました。Belebele の各問題には4つの選択肢があります。元の ZIP にある122の言語・文字体系のファイルには、共通する900件の問題 ID があります。これらのファイルでは、各 ID が出典 URL と問題番号を組み合わせています。Belebele の論文 · Belebele のダウンロードと形式
答えを元の問題と照合する
各 Belebele ファイルから正解としてマークされた選択肢の番号をコピーし、英語の問題順に並べました。52個のファイルでは、問題の順番が英語と異なります。コピーした答えを各ファイルの行番号で照合した場合の正答率は73.55%でした。問題 ID で照合した場合は、109,800行全体で100%でした。行番号で照合すると、38,876件の回答が別の問題に割り当てられました。そのうち9,838件は、選択肢の番号が一致したため正解と採点されました。
同じ文面の選択肢がないか確認する
148行では、正答としてマークされた選択肢とまったく同じテキストを持つ別の選択肢があります。すべての行から、正答としてマークされた選択肢のテキストをコピーしました。そのテキストに一致する最初の選択肢を割り当てると、16点を失いました。最後の選択肢を割り当てると、133点を失いました。この検証では、元のZIPに保存されているテキストをそのまま厳密に比較しています。
同じ問題で点数を比べる
該当する148行を、それぞれの行があるファイルからのみ除くと、ファイルごとに残る問題数は894〜899問になります。該当する行には、重複を除くと23件の問題 ID があります。この23件の ID をすべてのファイルから除くと、各ファイルに同じ877問が残ります。
本文の出典を確認する
英語のファイルでは、513問が元の FLORES-200 の開発用データに含まれるページを参照しています。そのうち417問では、元の FLORES の文を順番につなぐと、Belebele の本文と完全に一致します。完全に一致する問題数は、両アーカイブに共通する残りの116の言語・文字体系のファイルによって異なります。
また、英語を含む共通の117の言語・文字体系のファイルで、FLORES-200 のdevtest URL を参照する Belebele の45,279行を確認しました。重複を除くと9件の問題 ID で、少なくとも1つのファイルの本文に開発用データの文が1文まるごと含まれていました。この確認では、出典アーカイブの URL とテキストの完全一致を照合しています。FLORES-200 のドキュメント · 元の FLORES-200 アーカイブ
最も短い答えを選ぶルールを確認する
常に最も短い答えを選ぶと、Belebele テスト全体での正答率は27.03%でした。このルールでは、等価な Unicode 文字と空白を標準化した後に文字数を数えます。最短の選択肢が複数ある場合は、1点を均等に分け、正解としてマークされた選択肢の取り分だけを得点に加えます。4つの選択肢から均等な確率で推測した場合の期待正答率は25%です。Belebele の原著者は、単語の重なりと答えの長さを使って手がかりがないか確認しました。また、単語の順序を使わずに単語だけを使うモデルで、900問に対して28%の結果が得られたと報告しています。Belebele の論文、セクション3.2 · 付録 A.6
本文を変えて点数を比べる
英語とベトナム語で同じ900件の問題 ID を使いました。このルールは、問題文または与えられた本文に現れる単語の割合が最も高い選択肢を選びます。割合の計算では、重複する単語を1つとして数えます。本文がない場合は問題文だけを使います。同率の選択肢がある場合は、1点を均等に分けます。本文を別のページのものに差し替えて複数回試し、各回では両言語で同じ出典ページの本文を使いました。
| 言語 | 本文なし | 1回目の差し替え | 本来の本文 | 16回の差し替えによる点数の範囲 |
|---|---|---|---|---|
| 英語 | 24.60% | 26.38% | 28.72% | 24.60%〜27.89% |
| ベトナム語 | 25.98% | 24.80% | 27.17% | 23.58%〜27.84% |
本来の本文を使った場合の点数は、英語では差し替えた16回すべてを、ベトナム語では15回を上回りました。本文がない場合と比べると、本来の本文を使うことで得点が増えた問題は英語で311問、ベトナム語で313問でした。得点が減った問題は英語で218問、ベトナム語で234問でした。単語照合のコード · 集計結果
問題文の言語を変える
英語とベトナム語の MLQA 開発用ファイルには、問題文と本文の言語の4通りの組み合わせすべてに現れる問題 ID が511件あります。これらの ID では、英語の本文を固定したまま問題文の言語を英語からベトナム語に変えても、本文と正解として認められる答えのリストは完全に同じです。この条件で比較すると、両方の結果を同じ英語の答えで採点できます。MLQA の論文 · MLQA のファイル構成
単語照合を再実行する
元の Belebele ZIP、単語照合スクリプト、その補助 Python ファイル、保存済みの集計結果をダウンロードし、同じフォルダーに置いてください。スクリプトはアーカイブのハッシュを検証し、英語とベトナム語のファイルを読み込みます。結果は得点単位で表示され、12単位が正解1問分に相当します。Python 3.12 を使って比較を再実行できます。
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json