跳至主要内容

菜单

研究

怎样选择多语言阅读理解测试

语言: 简体中文

选一个能测出模型是否会做用户所需工作的测试。找出正确段落、根据给定段落回答问题、理解另一种语言的提问,是三种不同的能力。分开测试,就能看出哪一步需要仔细检查。

想检查什么从哪里开始模型需要做什么
能在一篇文章里找到正确的部分吗?TyDiQA-SelectP从一篇文章中选出一个段落,或指出没有段落能回答问题。
能找出回答问题的词语吗?TyDiQA-GoldP从包含答案的段落中找出构成答案的词语。
能用不同语言回答同一组问题吗?XQuAD 或 Belebele在 XQuAD 中根据翻译后的段落回答,在 Belebele 中从四个选项中选一个。
问题和段落使用不同语言时,还能回答吗?MLQA在另一种语言写成的段落里找出答案。

检查模型能不能找到答案

如果模型需要在一篇文章中找出正确的段落,就用 TyDiQA-SelectP。如果还需要给出简短答案、回答是或否,或指出文章没有答案,就用 TyDiQA-MinSpan。TyDi QA 的问题由人直接用各自的语言编写。 TyDi QA 任务说明

想知道较短的段落能帮上多少忙,可以让同一个模型写两次答案。一次给全文,一次给从同一篇文章里原样摘出的片段。两次都用同样的设置、问题、回答格式、可接受答案和评分规则。检查每个可接受答案是否都出现在两份输入里。如果直接使用 Gold Passage 的某条数据,请检查摘录和答案列表。即使问题相同,文件中的段落或可接受答案也可能不同。可以用 TyDi QA 的开发文件来准备这项测试。Gold Passage 的 5,077 道题都出现在包含 18,670 道题的主数据集中。Gold Passage 没有日语和泰语题目,而且在共有的九种语言里,它省略了 1,285 道标有书面答案的题。按语言、文章标题和题目的准确措辞匹配,只用一一对应的题目。 TyDi QA 题目对照

比较不同语言时,用同一组题目

XQuAD 给模型的是同一组问题和段落的不同语言译文。1,190 道英语题来自 SQuAD 1.1 的开发集。我们检查过的译文文件使用同一组题目 ID。如果曾用 SQuAD 的开发集调整模型,先检查题目是否重合,再决定能否把 XQuAD 当作新题测试。 XQuAD 原论文 · 检查重复使用的题目

如果要让模型从四个选项中选一个,可以用 Belebele。按语言和文字系统划分的 122 个文件共用 900 个题目 ID。保存所选选项的编号或字母。两个选项可能文字相同,只存文字可能分不清模型选了哪一个。如果排除这类题,所有参与比较的语言都要用同一组剩余 ID。 比较不同语言的阅读成绩

换一种语言提问,段落保持不变

例如,说越南语的人可能会用越南语问一份英语文档,这时可以用 MLQA。在我们检查的英语和越南语开发文件中,有 511 道共有的题可以用任一种语言来问,同时保留完全相同的英语段落和可接受答案。两次都用同一组英语答案评分,就能看出换一种语言提问后发生了什么变化。 MLQA 原论文 · 对照英语和越南语文件

要单独了解段落有多大帮助,可以用同一组题分别测试提供和不提供段落的情况。 检查模型有没有用到文章

确认测试有没有你需要的语言

测试泰语时,可以用 TyDiQA-SelectP 检查模型能否找对段落,用 XQuAD 检查能否在给定段落里找到答案的词语,或用 Belebele 检查能否选对答案。TyDiQA-GoldP 的开发文件没有泰语题。四组对比的文件都包含的语言只有阿拉伯语和英语。这四组是 TyDi QA 主数据集、TyDi QA Gold Passage、XQuAD,以及问题和段落语言一致的 MLQA 开发文件。 检查支持的语言 · Belebele 语言文件

报告分数时,请标明任务、语言和计入每个分数的题目数量。例如,TyDi QA 的两种官方评分方式在计算总平均分时都排除英语,尽管文件里有英语题。 TyDi QA 评分说明