跳至主要内容

菜单

研究

怎样比较不同语言的阅读选择题成绩

语言: 简体中文

比较时,每种语言都要用相同的题目和评分规则。检查有没有文字相同的选项,以及模型可能读过的文章。我们从多语言阅读测试 Belebele 的每个文件中抄下正确选项的编号,按英语版的题目顺序排列。按文件的行号对答案,得分是 73.55%。按题目 ID 对答案,得分是 100%。 重做 Belebele 评分

把每个答案对到正确的题目

保存每条回答的语言、题目 ID 和选中的选项编号或字母。Belebele 的 122 个文件共用 900 个题目 ID,但有 52 个文件的题目顺序和英语版不同。按行号对答案时,有 9,838 条回答对错了题目,却因为选项编号恰好一致而得分。 检查题目顺序

检查有没有文字相同的选项

假设 B 和 D 都写着 12,文件把 B 标为正确答案。如果回答是 12,你只知道答案的文字。要按选项位置评分,还需要选项字母。Belebele 有 148 行题目的正确答案文字也出现在另一个选项里。我们原样抄下这些答案文字后,选第一个文字相同的选项会少得 16 分,选最后一个会少得 133 分。先确定是按选项编号还是按答案文字评分,再按同一规则检查选项。 文字重复的选项

用同一组题目比较成绩

如果只在重复选项实际出现的文件里删掉那 148 行,每种语言会保留 894 到 899 道题。要用完全相同的题目比较,就从每个文件中删掉受影响的全部 23 个题目 ID。这样会剩下 877 道共有的题目。报告原来的题目数和实际评分的题目数。 比较不同的题目筛选方式

检查模型可能读过哪些文章

如果调整模型时用过 FLORES-200 的开发集,就检查同样的文章有没有出现在 Belebele 里。英语版有 513 道题指向开发集用过的网页。其中 417 道题,把 FLORES 的句子拼起来,就能得到与 Belebele 完全相同的文章。两个数据集共有的另外 116 个语言或文字版本里,完全相同的文章数量各不相同。请检查你所测试语言的文章。 重复使用的英语文章 · 重复使用的翻译文章