# 阅读基准测试指南的证据

这些检查使用了原始 Belebele 和 FLORES-200 数据压缩包，以及公开的 MLQA 开发集文件。Belebele 的每道题有 4 个选项。原始 ZIP 中的 122 个语言和文字文件共用 900 个题目 ID。在这些文件中，每个 ID 由来源网址和题号组成。[Belebele 论文](https://aclanthology.org/2024.acl-long.44/) · [Belebele 下载与格式说明](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## 把每个答案对到正确的题目

我们从每个 Belebele 文件中复制标记的答案编号，并按英语题目顺序排列。其中 52 个文件的题目顺序与英语不同。按行号将复制的答案与各文件中的题目匹配，得分为 73.55%。按题目 ID 匹配，109,800 行的得分为 100%。按行号匹配时，38,876 个答案被分配给了其他题目。其中 9,838 个答案因编号与标记答案相同，仍然得分。

## 检查有没有文字相同的选项

在 148 行中，另一个选项的文本与标记答案完全相同。我们复制了每一行中标记答案的文本。将具有该文本的第一个选项作为答案会损失 16 分，将最后一个选项作为答案会损失 133 分。此检查按照原始 ZIP 文件中存储的文本进行精确比较。

## 用同一组题目比较成绩

只在这些行出现的文件中移除受影响的 148 行后，每个文件剩下 894 至 899 道题。这些行涉及 23 个不同的题目 ID。从每个文件中移除全部 23 个 ID 后，每个文件都剩下相同的 877 道题。

## 检查文章的来源

在英语文件中，513 道题指向原始 FLORES-200 开发集中的页面。其中 417 道题的 Belebele 文章可以通过按顺序拼接原始 FLORES 句子完全还原。在两个数据压缩包共有的另外 116 个语言和文字文件中，完全匹配的数量各不相同。

我们还检查了两个数据压缩包共有的 117 个语言和文字文件（包括英语）中，来源网址属于 FLORES-200 `devtest` 的 45,279 行 Belebele 数据。其中有 9 个不同的题目 ID，其文章在至少一个文件中包含完整的开发集句子。此项检查匹配了源数据压缩包中的来源网址和精确文本。[FLORES-200 文档](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [原始 FLORES-200 数据压缩包](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## 检查选择最短答案的规则

在完整的 Belebele 测试中，始终选择最短答案的得分为 27.03%。这条规则先将等价的 Unicode 字符和空白字符统一处理，再计算字符数。如果多个选项并列最短，就将 1 分平均分给这些选项，只计入标记答案所占的分数。对 4 个选项进行均匀随机猜测的期望得分为 25%。Belebele 原论文作者使用词语重合度和答案长度来检查是否存在解题线索。他们还报告了一个模型在 900 道题上取得 28% 的成绩，该模型使用词语但不考虑词序。[Belebele 论文第 3.2 节](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [附录 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## 比较使用不同文章时的成绩

我们在英语和越南语中使用了相同的 900 个题目 ID。这条规则选择这样的答案选项：该选项的不重复词语中，出现在题目或所给文章里的比例最高。没有文章时，规则只使用题目。并列的选项平分 1 分。每次替换测试都使用另一页面的文章，并在两种语言中使用同一个替换来源页面。

| 语言 | 不提供文章 | 第 1 次替换 | 原题对应的文章 | 16 次替换的得分范围 |
| --- | ---: | ---: | ---: | ---: |
| 英语 | 24.60% | 26.38% | 28.72% | 24.60% 至 27.89% |
| 越南语 | 25.98% | 24.80% | 27.17% | 23.58% 至 27.84% |

使用原题对应文章时，英语得分高于全部 16 次替换的得分，越南语得分高于其中 15 次。与不提供文章相比，使用原题对应的文章使英语中 311 道题、越南语中 313 道题的得分提高；英语中 218 道题、越南语中 234 道题的得分降低。[词语匹配代码](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [汇总结果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## 更换题目语言

在英语和越南语的 MLQA 开发集文件中，511 个题目 ID 同时出现在题目语言和文章语言的全部 4 种组合中。对于这些 ID，固定使用英语文章，将题目语言从英语换成越南语后，文章和可接受答案列表完全相同。使用这种设置进行比较时，两次测试都以同一组英语答案评分。[MLQA 论文](https://aclanthology.org/2020.acl-main.653/) · [MLQA 文件结构](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## 重复词语匹配检查

下载[原始 Belebele ZIP 文件](https://dl.fbaipublicfiles.com/belebele/Belebele.zip)、[词语匹配脚本](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py)、脚本使用的 [Python 辅助脚本](https://sapien1.com/research/reading-benchmark-evidence/check.py)和[已保存的汇总结果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)，并将它们放在同一个文件夹中。脚本会验证压缩包的哈希值，然后读取英语和越南语文件。脚本以得分单位报告成绩，每 12 个单位相当于答对 1 题。使用 Python 3.12 重复这项比较。

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
