阅读基准测试指南的证据
这些检查使用了原始 Belebele 和 FLORES-200 数据压缩包,以及公开的 MLQA 开发集文件。Belebele 的每道题有 4 个选项。原始 ZIP 中的 122 个语言和文字文件共用 900 个题目 ID。在这些文件中,每个 ID 由来源网址和题号组成。Belebele 论文 · Belebele 下载与格式说明
把每个答案对到正确的题目
我们从每个 Belebele 文件中复制标记的答案编号,并按英语题目顺序排列。其中 52 个文件的题目顺序与英语不同。按行号将复制的答案与各文件中的题目匹配,得分为 73.55%。按题目 ID 匹配,109,800 行的得分为 100%。按行号匹配时,38,876 个答案被分配给了其他题目。其中 9,838 个答案因编号与标记答案相同,仍然得分。
检查有没有文字相同的选项
在 148 行中,另一个选项的文本与标记答案完全相同。我们复制了每一行中标记答案的文本。将具有该文本的第一个选项作为答案会损失 16 分,将最后一个选项作为答案会损失 133 分。此检查按照原始 ZIP 文件中存储的文本进行精确比较。
用同一组题目比较成绩
只在这些行出现的文件中移除受影响的 148 行后,每个文件剩下 894 至 899 道题。这些行涉及 23 个不同的题目 ID。从每个文件中移除全部 23 个 ID 后,每个文件都剩下相同的 877 道题。
检查文章的来源
在英语文件中,513 道题指向原始 FLORES-200 开发集中的页面。其中 417 道题的 Belebele 文章可以通过按顺序拼接原始 FLORES 句子完全还原。在两个数据压缩包共有的另外 116 个语言和文字文件中,完全匹配的数量各不相同。
我们还检查了两个数据压缩包共有的 117 个语言和文字文件(包括英语)中,来源网址属于 FLORES-200 devtest 的 45,279 行 Belebele 数据。其中有 9 个不同的题目 ID,其文章在至少一个文件中包含完整的开发集句子。此项检查匹配了源数据压缩包中的来源网址和精确文本。FLORES-200 文档 · 原始 FLORES-200 数据压缩包
检查选择最短答案的规则
在完整的 Belebele 测试中,始终选择最短答案的得分为 27.03%。这条规则先将等价的 Unicode 字符和空白字符统一处理,再计算字符数。如果多个选项并列最短,就将 1 分平均分给这些选项,只计入标记答案所占的分数。对 4 个选项进行均匀随机猜测的期望得分为 25%。Belebele 原论文作者使用词语重合度和答案长度来检查是否存在解题线索。他们还报告了一个模型在 900 道题上取得 28% 的成绩,该模型使用词语但不考虑词序。Belebele 论文第 3.2 节 · 附录 A.6
比较使用不同文章时的成绩
我们在英语和越南语中使用了相同的 900 个题目 ID。这条规则选择这样的答案选项:该选项的不重复词语中,出现在题目或所给文章里的比例最高。没有文章时,规则只使用题目。并列的选项平分 1 分。每次替换测试都使用另一页面的文章,并在两种语言中使用同一个替换来源页面。
| 语言 | 不提供文章 | 第 1 次替换 | 原题对应的文章 | 16 次替换的得分范围 |
|---|---|---|---|---|
| 英语 | 24.60% | 26.38% | 28.72% | 24.60% 至 27.89% |
| 越南语 | 25.98% | 24.80% | 27.17% | 23.58% 至 27.84% |
使用原题对应文章时,英语得分高于全部 16 次替换的得分,越南语得分高于其中 15 次。与不提供文章相比,使用原题对应的文章使英语中 311 道题、越南语中 313 道题的得分提高;英语中 218 道题、越南语中 234 道题的得分降低。词语匹配代码 · 汇总结果
更换题目语言
在英语和越南语的 MLQA 开发集文件中,511 个题目 ID 同时出现在题目语言和文章语言的全部 4 种组合中。对于这些 ID,固定使用英语文章,将题目语言从英语换成越南语后,文章和可接受答案列表完全相同。使用这种设置进行比较时,两次测试都以同一组英语答案评分。MLQA 论文 · MLQA 文件结构
重复词语匹配检查
下载原始 Belebele ZIP 文件、词语匹配脚本、脚本使用的 Python 辅助脚本和已保存的汇总结果,并将它们放在同一个文件夹中。脚本会验证压缩包的哈希值,然后读取英语和越南语文件。脚本以得分单位报告成绩,每 12 个单位相当于答对 1 题。使用 Python 3.12 重复这项比较。
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json