# モデルが読解問題の文章を使っているか確かめるには

モデルに同じ問題を二度出します。一度は文章を見せ、もう一度は見せません。問題、選択肢、採点ルールはそろえます。点数を比べれば、文章がどれだけ役に立ったかがわかります。選択問題では、選択肢だけでも試せます。Belebele の全問題で、毎回いちばん短い選択肢を選ぶと 27.03% でした。すべての選択肢を同じ確率で選ぶと、期待される点数は 25% です。 [Belebele の答えの長さの確認](https://sapien1.com/ja/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## 一度に変える情報はひとつだけ

| モデルに見せる情報 | 比較する項目 |
| --- | --- |
| 文章、問題、選択肢 | すべて見せた場合の正答率 |
| 問題と選択肢 | 文章を見せない場合の正答率 |
| 選択肢だけ | 選択肢だけを見せた場合の正答率 |

毎回、同じモデルと設定を使います。文章を加えると不正解から正解になる問題と、正解から不正解になる問題をそれぞれ数えます。正解した問題が入れ替わっても点数があまり変わらないときは、この二つの数で理由がわかります。記述式なら、最初の二回はどちらも選択肢なしで行い、正解として認める答えはそろえます。

## 正解と不正解が入れ替わった問題を見る

二回のテストで、どちらも 100 問中 70 問正解したとします。問題 ID で回答を照合すると、62 問は両方で正解、22 問は両方で不正解でした。文章を足すと八問が不正解から正解になり、別の八問が正解から不正解になりました。点数は 70% のままですが、文章が役に立った場合と逆効果だった場合を調べるために、16 問を見直せます。

## 同じ単語を手がかりに答えを選んでみる

Belebele の著者は、共通する単語や答えの長さが手がかりになるかを調べました。語順を考慮せず、どの単語が出てくるかだけを見たモデルは、900 問で 28% だったとも報告しています。 [Belebele 論文の 3.2 節](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [付録 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

英語版とベトナム語版の共通する 900 問で、同じ単語を手がかりに選ぶルールを試しました。文章なし、問題に対応する文章あり、別のページの文章ありの三通りです。各選択肢で、同じ単語は一度だけ数え、そのうち問題文か提示された文章にも出てくる単語の割合を求めます。文章がなければ問題文だけを見ます。最も割合の高い選択肢を選びます。同率なら、首位の選択肢に一点を均等に配り、正解として記録された選択肢の取り分だけを得点にします。差し替える文章は、問題ごとに英語版とベトナム語版で同じ別ページを使い、それぞれの言語で提示します。 [コード](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [結果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| 言語 | 文章なし | 別のページの文章 | 問題に対応する文章 |
| --- | ---: | ---: | ---: |
| 英語 | 24.60% | 26.38% | 28.72% |
| ベトナム語 | 25.98% | 24.80% | 27.17% |

最初に比べたときは、どちらの言語でも問題に対応する文章を使った場合が最高点でした。次に、差し替え方を変えてさらに 15 通りを試しました。全 16 通りで、英語は 24.60% から 27.89%、ベトナム語は 23.58% から 27.84% でした。問題に対応する文章は、英語では 16 通りすべて、ベトナム語では 15 通りを上回りました。異なる文章をいくつか試すと、選んだページによる結論の偏りを減らせます。 [すべての差し替え結果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

文章を見せなかったときに比べて、問題に対応する文章を見せると、英語で 311 問、ベトナム語で 313 問の点数が上がりました。点数が下がったのは英語で 218 問、ベトナム語で 234 問でした。このルールとモデルを比べるときは、同じ問題で採点します。

## 問題と採点ルールをそろえる

回答ごとに問題 ID を保存します。Belebele の 122 ファイルは同じ 900 件の問題 ID を使っていますが、52 ファイルは英語版と順番が異なります。同じ内容の選択肢がある問題を除くときは、比較するすべてのテストで同じ ID を除きます。同じ内容の選択肢を採点時に区別できるよう、選んだ文字も記録します。 [問題順の検証](https://sapien1.com/ja/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [問題の絞り込み](https://sapien1.com/ja/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## モデルが以前に見た可能性のある内容を確認する

文章を見せなくても、すでに知っていたことや問題文や選択肢の手がかりから正解できる場合があります。推測が当たることもあります。FLORES-200 の開発用データでモデルを調整してから Belebele でテストする場合は、開発用データの URL に由来する問題を除外できます。文章そのものも確認します。元のファイルでは、別の URL に由来する九問でも、調べた少なくともひとつの言語や文字体系で開発用データの文が含まれていました。 [Belebele の文章の確認](https://sapien1.com/ja/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## 質問の言語を変えても、文章は同じものを使う

別の言語で質問すると結果が変わるかを知りたいときは、その条件だけを変えて比べます。確認した英語版とベトナム語版の MLQA ファイルでは、511 件の問題 ID で、英語の文章と正解として認める答えをまったく同じに保ったまま質問の言語を切り替えられます。両方とも同じ英語の答えで採点します。 [MLQA で対応する問題](https://sapien1.com/ja/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
