# 怎样检查模型有没有用到文章

把同样的题目给模型做两遍，一遍提供文章，一遍不给文章。题目、选项和评分规则都保持一样。比较两次分数，就能看出给出的文章对回答这些题目有多大帮助。做选择题时，还可以再测一次，只给选项。用“总选最短答案”这条规则做完整套 Belebele，得分是 27.03%。如果每个选项都同样可能被猜中，预期得分是 25%。 [检查 Belebele 的答案长度](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## 每次只改一项给模型的信息

| 模型看到了什么 | 要比较什么 |
| --- | --- |
| 文章、题目和选项 | 三项都给出时的答对比例 |
| 题目和选项 | 不给文章时的答对比例 |
| 只有选项 | 只看选项时的答对比例 |

每次都用同一个模型和同样的设置。数一数加上文章后有多少题从答错变成答对，又有多少从答对变成答错。两次答对的题目可能不同，这两个数能解释为什么总分只变了一点。如果测试要求模型自己写答案，就在前两次测试中都去掉选项，并使用相同的可接受答案。

## 看看哪些题从对变错或从错变对

假设两次测试都是 100 道题答对 70 道。按题目 ID 对照回答后，发现 62 道题两次都对，22 道题两次都错。加上文章后，八道题从错变对，也有八道题从对变错。分数仍是 70%，但有 16 道题值得看看文章在哪里帮上了忙，在哪里反而影响了回答。

## 试试按相同的词语选答案

Belebele 的作者检查了相同的词语和选项的长短能不能提供线索。他们还报告，有个只看出现了哪些词、不考虑词序的模型，在 900 道题上得了 28%。 [Belebele 论文第 3.2 节](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [附录 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

我们在英语和越南语的同一组 900 道 Belebele 题目上，用一条固定的规则按相同的词语选答案。分三种情况：不给文章、给与题目对应的文章，或给另一个网页的文章。对每个选项，把重复的词只算一次，然后计算其中有多少比例也出现在题目或给出的文章里。没给文章就只看题目。选比例最高的选项。如果几个选项并列第一，就把一分平分给它们，只计入文件标记为正确的选项分到的那部分。对于每道题，英语和越南语的替换文章都来自同一个其他网页，分别使用各自的语言。 [代码](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [结果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| 语言 | 不给文章 | 另一个网页的文章 | 与题目对应的文章 |
| --- | ---: | ---: | ---: |
| 英语 | 24.60% | 26.38% | 28.72% |
| 越南语 | 25.98% | 24.80% | 27.17% |

第一次比较时，两种语言都是给出与题目对应的文章得分最高。之后我们又试了 15 种替换方式。在全部 16 种替换中，英语得分在 24.60% 到 27.89% 之间，越南语在 23.58% 到 27.84% 之间。给出与题目对应的文章，英语得分高于全部 16 种替换，越南语高于其中 15 种。试几个不同的替换方案，结论就不太容易受某个网页影响。 [所有替换方案的结果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

和不给文章相比，给出与题目对应的文章后，英语有 311 道题得分上升，越南语有 313 道。英语有 218 道题得分下降，越南语有 234 道。如果要拿这条规则和模型比较，请用同一组题目评分。

## 每次用同样的题目和评分规则

每条回答都要保存题目 ID。Belebele 的 122 个文件共用 900 个题目 ID，但有 52 个文件的顺序和英语版不同。如果排除有重复答案文字的题目，要在每次参与比较的测试中去掉相同的题目 ID。保留选项字母，这样评分时就能分清显示同样文字的选项。 [重做题目顺序测试](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [题目筛选](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 检查模型以前可能读过什么

不给文章也能答对，可能是因为模型已有相关知识、从题目或选项里找到了线索，或者只是猜对了。如果用 FLORES-200 开发集调过模型，现在又想用 Belebele 测试，可以把来自开发集网址的题目排除掉。文章内容也要检查。在原始文件中，有九道来自其他网址的题目，在至少一个受查的语言或文字版本中仍然包含开发集里的句子。 [检查 Belebele 文章](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## 换题目的语言时，文章保持不变

如果想知道换一种语言提问会不会影响结果，就单独做这项比较。我们检查的英语和越南语 MLQA 文件中，有 511 个题目 ID 可以只换题目的语言，并且保留完全相同的英语文章和可接受答案。两次都按同一组英语答案评分。 [MLQA 中对应的题目](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
