メインコンテンツに移動

メニュー

研究

言語が違う読解テストの選択問題で点数を比べるには

言語: 日本語

どの言語でも同じ問題と採点ルールを使います。内容が同じ選択肢や、モデルが以前に読んだ可能性のある文章がないかを確認します。多言語の読解テスト Belebele で、各ファイルに正解として記録された選択肢の番号を写し、英語版の問題順に並べました。その番号を各ファイルの行番号で照合すると 73.55%、問題 ID で照合すると 100% でした。 Belebele の採点を再現した結果

答えを元の問題と照合する

回答ごとに、言語、問題 ID、選んだ選択肢の番号か文字を記録します。Belebele の 122 ファイルには同じ 900 件の問題 ID がありますが、52 ファイルは英語版と順番が異なります。行番号で照合したときは、別の問題と組み合わされた回答のうち 9,838 件が、たまたま正解番号と一致したため得点になりました。 問題の順番を確認した結果

同じ文面の選択肢がないか確認する

たとえば B と D がどちらも 12 で、ファイルでは B が正解だとします。回答が 12 なら、選択肢の内容はわかります。選択肢の位置で採点するには、どの文字を選んだかも必要です。Belebele では 148 行で、正解と同じ内容が別の選択肢にもあります。正解の文字列をそのまま写すと、最初に一致する選択肢を選ぶ方法では 16 点、最後に一致する選択肢を選ぶ方法では 133 点を失いました。選択肢の記号と答えの内容のどちらで採点するかを決め、同じルールで選択肢を確認します。 同じ内容の選択肢

同じ問題で点数を比べる

同じ内容の選択肢がある 148 行を、該当するファイルだけで除くと、各言語に 894 から 899 問が残ります。すべての言語で同じ問題を使うには、該当する 23 件の問題 ID をどのファイルからも除きます。共通の問題は 877 問になります。元の問題数と実際に採点した問題数を報告します。 除外する問題の選び方を比較した結果

モデルが以前に読んだ可能性のある文章を確認する

モデルの調整に FLORES-200 の開発用データを使った場合は、Belebele にも同じ文章がないか確認します。英語版では 513 問が開発用データで使われたページを参照しています。そのうち 417 問では、FLORES の文をつなぐと Belebele の文章と完全に一致します。両方のデータに含まれる英語以外の言語や文字体系の 116 ファイルでは、完全に一致する件数が異なります。テストする言語の本文を確認してください。 英語の文章の再利用 · 翻訳された文章の再利用