# 怎样选择多语言阅读理解测试

选一个能测出模型是否会做用户所需工作的测试。找出正确段落、根据给定段落回答问题、理解另一种语言的提问，是三种不同的能力。分开测试，就能看出哪一步需要仔细检查。

| 想检查什么 | 从哪里开始 | 模型需要做什么 |
| --- | --- | --- |
| 能在一篇文章里找到正确的部分吗？ | TyDiQA-SelectP | 从一篇文章中选出一个段落，或指出没有段落能回答问题。 |
| 能找出回答问题的词语吗？ | TyDiQA-GoldP | 从包含答案的段落中找出构成答案的词语。 |
| 能用不同语言回答同一组问题吗？ | XQuAD 或 Belebele | 在 XQuAD 中根据翻译后的段落回答，在 Belebele 中从四个选项中选一个。 |
| 问题和段落使用不同语言时，还能回答吗？ | MLQA | 在另一种语言写成的段落里找出答案。 |

## 检查模型能不能找到答案

如果模型需要在一篇文章中找出正确的段落，就用 TyDiQA-SelectP。如果还需要给出简短答案、回答是或否，或指出文章没有答案，就用 TyDiQA-MinSpan。TyDi QA 的问题由人直接用各自的语言编写。 [TyDi QA 任务说明](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

想知道较短的段落能帮上多少忙，可以让同一个模型写两次答案。一次给全文，一次给从同一篇文章里原样摘出的片段。两次都用同样的设置、问题、回答格式、可接受答案和评分规则。检查每个可接受答案是否都出现在两份输入里。如果直接使用 Gold Passage 的某条数据，请检查摘录和答案列表。即使问题相同，文件中的段落或可接受答案也可能不同。可以用 TyDi QA 的开发文件来准备这项测试。Gold Passage 的 5,077 道题都出现在包含 18,670 道题的主数据集中。Gold Passage 没有日语和泰语题目，而且在共有的九种语言里，它省略了 1,285 道标有书面答案的题。按语言、文章标题和题目的准确措辞匹配，只用一一对应的题目。 [TyDi QA 题目对照](https://sapien1.com/zh-Hans/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## 比较不同语言时，用同一组题目

XQuAD 给模型的是同一组问题和段落的不同语言译文。1,190 道英语题来自 SQuAD 1.1 的开发集。我们检查过的译文文件使用同一组题目 ID。如果曾用 SQuAD 的开发集调整模型，先检查题目是否重合，再决定能否把 XQuAD 当作新题测试。 [XQuAD 原论文](https://aclanthology.org/2020.acl-main.421/) · [检查重复使用的题目](https://sapien1.com/zh-Hans/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

如果要让模型从四个选项中选一个，可以用 Belebele。按语言和文字系统划分的 122 个文件共用 900 个题目 ID。保存所选选项的编号或字母。两个选项可能文字相同，只存文字可能分不清模型选了哪一个。如果排除这类题，所有参与比较的语言都要用同一组剩余 ID。 [比较不同语言的阅读成绩](https://sapien1.com/zh-Hans/research/cross-language-reading-scores)

## 换一种语言提问，段落保持不变

例如，说越南语的人可能会用越南语问一份英语文档，这时可以用 MLQA。在我们检查的英语和越南语开发文件中，有 511 道共有的题可以用任一种语言来问，同时保留完全相同的英语段落和可接受答案。两次都用同一组英语答案评分，就能看出换一种语言提问后发生了什么变化。 [MLQA 原论文](https://aclanthology.org/2020.acl-main.653/) · [对照英语和越南语文件](https://sapien1.com/zh-Hans/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

要单独了解段落有多大帮助，可以用同一组题分别测试提供和不提供段落的情况。 [检查模型有没有用到文章](https://sapien1.com/zh-Hans/research/does-the-model-use-the-passage)

## 确认测试有没有你需要的语言

测试泰语时，可以用 TyDiQA-SelectP 检查模型能否找对段落，用 XQuAD 检查能否在给定段落里找到答案的词语，或用 Belebele 检查能否选对答案。TyDiQA-GoldP 的开发文件没有泰语题。四组对比的文件都包含的语言只有阿拉伯语和英语。这四组是 TyDi QA 主数据集、TyDi QA Gold Passage、XQuAD，以及问题和段落语言一致的 MLQA 开发文件。 [检查支持的语言](https://sapien1.com/zh-Hans/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Belebele 语言文件](https://sapien1.com/zh-Hans/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

报告分数时，请标明任务、语言和计入每个分数的题目数量。例如，TyDi QA 的两种官方评分方式在计算总平均分时都排除英语，尽管文件里有英语题。 [TyDi QA 评分说明](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
