跳至主要内容

菜单

研究

怎样检查模型有没有用到文章

语言: 简体中文

把同样的题目给模型做两遍,一遍提供文章,一遍不给文章。题目、选项和评分规则都保持一样。比较两次分数,就能看出给出的文章对回答这些题目有多大帮助。做选择题时,还可以再测一次,只给选项。用“总选最短答案”这条规则做完整套 Belebele,得分是 27.03%。如果每个选项都同样可能被猜中,预期得分是 25%。 检查 Belebele 的答案长度

每次只改一项给模型的信息

模型看到了什么要比较什么
文章、题目和选项三项都给出时的答对比例
题目和选项不给文章时的答对比例
只有选项只看选项时的答对比例

每次都用同一个模型和同样的设置。数一数加上文章后有多少题从答错变成答对,又有多少从答对变成答错。两次答对的题目可能不同,这两个数能解释为什么总分只变了一点。如果测试要求模型自己写答案,就在前两次测试中都去掉选项,并使用相同的可接受答案。

看看哪些题从对变错或从错变对

假设两次测试都是 100 道题答对 70 道。按题目 ID 对照回答后,发现 62 道题两次都对,22 道题两次都错。加上文章后,八道题从错变对,也有八道题从对变错。分数仍是 70%,但有 16 道题值得看看文章在哪里帮上了忙,在哪里反而影响了回答。

试试按相同的词语选答案

Belebele 的作者检查了相同的词语和选项的长短能不能提供线索。他们还报告,有个只看出现了哪些词、不考虑词序的模型,在 900 道题上得了 28%。 Belebele 论文第 3.2 节 · 附录 A.6

我们在英语和越南语的同一组 900 道 Belebele 题目上,用一条固定的规则按相同的词语选答案。分三种情况:不给文章、给与题目对应的文章,或给另一个网页的文章。对每个选项,把重复的词只算一次,然后计算其中有多少比例也出现在题目或给出的文章里。没给文章就只看题目。选比例最高的选项。如果几个选项并列第一,就把一分平分给它们,只计入文件标记为正确的选项分到的那部分。对于每道题,英语和越南语的替换文章都来自同一个其他网页,分别使用各自的语言。 代码 · 结果

语言不给文章另一个网页的文章与题目对应的文章
英语24.60%26.38%28.72%
越南语25.98%24.80%27.17%

第一次比较时,两种语言都是给出与题目对应的文章得分最高。之后我们又试了 15 种替换方式。在全部 16 种替换中,英语得分在 24.60% 到 27.89% 之间,越南语在 23.58% 到 27.84% 之间。给出与题目对应的文章,英语得分高于全部 16 种替换,越南语高于其中 15 种。试几个不同的替换方案,结论就不太容易受某个网页影响。 所有替换方案的结果

和不给文章相比,给出与题目对应的文章后,英语有 311 道题得分上升,越南语有 313 道。英语有 218 道题得分下降,越南语有 234 道。如果要拿这条规则和模型比较,请用同一组题目评分。

每次用同样的题目和评分规则

每条回答都要保存题目 ID。Belebele 的 122 个文件共用 900 个题目 ID,但有 52 个文件的顺序和英语版不同。如果排除有重复答案文字的题目,要在每次参与比较的测试中去掉相同的题目 ID。保留选项字母,这样评分时就能分清显示同样文字的选项。 重做题目顺序测试 · 题目筛选

检查模型以前可能读过什么

不给文章也能答对,可能是因为模型已有相关知识、从题目或选项里找到了线索,或者只是猜对了。如果用 FLORES-200 开发集调过模型,现在又想用 Belebele 测试,可以把来自开发集网址的题目排除掉。文章内容也要检查。在原始文件中,有九道来自其他网址的题目,在至少一个受查的语言或文字版本中仍然包含开发集里的句子。 检查 Belebele 文章

换题目的语言时,文章保持不变

如果想知道换一种语言提问会不会影响结果,就单独做这项比较。我们检查的英语和越南语 MLQA 文件中,有 511 个题目 ID 可以只换题目的语言,并且保留完全相同的英语文章和可接受答案。两次都按同一组英语答案评分。 MLQA 中对应的题目