选择多语言阅读理解测试的依据
这些核查比较了 TyDi QA、XQuAD、MLQA 和 Belebele 特定版本中的题目和语言。计数反映的是指南中使用的文件。
TyDi QA 文件有哪些共同题目?
我们按语言、文章标题和完全一致的题目措辞匹配了开发集文件。Gold Passage 的 5,077 条数据都能在主任务的 18,670 条数据中找到对应项。在共有的 9 种语言中,Gold Passage 文件未收录主任务中的 1,285 条数据;这些数据均有至少 1 名标注员标记了书面答案。主任务开发集文件包含日语和泰语,而 Gold Passage 文件没有这两种语言的数据。
要比较整篇文章和较短的输入,可以让同一个模型回答同一道题目两次,分别给出书面答案。短段落要从文章中原样复制。保持设置、题目、答案格式、可接受答案和评分规则不变。检查每个可接受答案是否都出现在两种输入中。如果直接使用 Gold Passage,还要检查摘录及其答案列表。按题目匹配可以确定文件有哪些共同题目,段落文本和可接受答案则可能不同。
作者在主任务和 Gold Passage 两项评测中计算总体平均分时,都排除了英语。
各语言题目数量(JSON) · 比较脚本(Python) · 固定版本的主任务开发集文件 · 固定版本的 Gold Passage 开发集文件 · 官方评分规则
将两个源文件分别保存为 primary.parquet 和 gold.parquet。将脚本和计数文件保存在同一目录下,然后运行比较脚本。脚本会在读取两个输入文件前验证它们的摘要值。
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
哪些 XQuAD 题目来自 SQuAD?
全部 1,190 个英语 XQuAD 题目 ID 都能在 SQuAD 1.1 开发集文件中找到对应题目。对于这些 ID,文章标题、段落和题目文本完全一致。我们核查的 XQuAD 版本中,全部 12 个文件使用相同的 ID,包括初始发布后添加的罗马尼亚语文件。
题目数量和匹配结果(JSON) · XQuAD 原始论文 · 固定版本的 XQuAD · 固定版本的 SQuAD 开发集文件
MLQA 题目换一种语言后,哪些内容保持不变?
4 个英语—越南语开发集文件共有 511 个题目 ID。保持英语段落不变,将题目从英语换成越南语后,511 道题目的文本全部改变,段落和可接受答案列表则均未改变。核查比较了每个段落和按顺序排列的可接受答案列表,包括保存的偏移量。两次测试都使用相同的英语答案评分。
文件比较计数(JSON) · MLQA 官方下载 · MLQA 原始论文
4 组文件分别包含哪些语言?
我们核查了 TyDi QA 主任务和 Gold Passage 开发集、固定版本的 XQuAD,以及题目和段落使用相同语言的 MLQA 开发集文件。阿拉伯语和英语是仅有的同时出现在全部 4 组文件中的语言。泰语出现在 TyDi QA 主任务和 XQuAD 中,但不在 Gold Passage 中。
各组文件的语言代码(JSON)
泰语选择题测试在哪里?
Belebele 有一个名为 tha_Thai.jsonl 的泰语文件。它适合测试模型阅读段落后从 4 个答案中选出一个的能力。
作者提供的固定版本泰语文件 · Belebele 原始论文 · 如何比较不同语言的阅读理解选择题分数