# 怎样比较不同语言的阅读选择题成绩

比较时，每种语言都要用相同的题目和评分规则。检查有没有文字相同的选项，以及模型可能读过的文章。我们从多语言阅读测试 Belebele 的每个文件中抄下正确选项的编号，按英语版的题目顺序排列。按文件的行号对答案，得分是 73.55%。按题目 ID 对答案，得分是 100%。 [重做 Belebele 评分](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 把每个答案对到正确的题目

保存每条回答的语言、题目 ID 和选中的选项编号或字母。Belebele 的 122 个文件共用 900 个题目 ID，但有 52 个文件的题目顺序和英语版不同。按行号对答案时，有 9,838 条回答对错了题目，却因为选项编号恰好一致而得分。 [检查题目顺序](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 检查有没有文字相同的选项

假设 B 和 D 都写着 `12`，文件把 B 标为正确答案。如果回答是 `12`，你只知道答案的文字。要按选项位置评分，还需要选项字母。Belebele 有 148 行题目的正确答案文字也出现在另一个选项里。我们原样抄下这些答案文字后，选第一个文字相同的选项会少得 16 分，选最后一个会少得 133 分。先确定是按选项编号还是按答案文字评分，再按同一规则检查选项。 [文字重复的选项](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## 用同一组题目比较成绩

如果只在重复选项实际出现的文件里删掉那 148 行，每种语言会保留 894 到 899 道题。要用完全相同的题目比较，就从每个文件中删掉受影响的全部 23 个题目 ID。这样会剩下 877 道共有的题目。报告原来的题目数和实际评分的题目数。 [比较不同的题目筛选方式](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 检查模型可能读过哪些文章

如果调整模型时用过 FLORES-200 的开发集，就检查同样的文章有没有出现在 Belebele 里。英语版有 513 道题指向开发集用过的网页。其中 417 道题，把 FLORES 的句子拼起来，就能得到与 Belebele 完全相同的文章。两个数据集共有的另外 116 个语言或文字版本里，完全相同的文章数量各不相同。请检查你所测试语言的文章。 [重复使用的英语文章](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [重复使用的翻译文章](https://sapien1.com/zh-Hans/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
