研究
如何复现并比较整个语料库的 chrF 分数
要复现整个语料库的 chrF 分数,请保留指标名称、版本、选项和实际使用的输入。保存预测文件、按原顺序排列的参考文件清单及各文件的校验和。保留固定的文本片段 ID,或用其他方式记录每条预测对应各个参考文件中的哪个片段。
示例使用虚构文本、两个片段以及 SacreBLEU 2.6.0 的默认 chrF2 设置。
使用原评估的文件顺序
SacreBLEU 会为每条预测单独选择一条参考文本。它使用句子得分最高的参考文本的计数。如果得分完全相同,就取第一条。计算整个语料库的 chrF2 时,先将选中的 n 元组计数相加,再计算分数。
在第一个示例中,两条参考文本针对 A 的第一条预测都得到 6.25,但 n 元组计数不同。调换文件顺序会让 A 的语料库分数从 79.03 降到 39.48。B 保持在 64.31,因此胜者改变。API 和命令行的结果一致,四次运行的指标签名也完全相同。要核实报告中的数值,请用原来的文件顺序。
按每种可能的顺序比较两个系统
如果不确定原来的顺序,记下可能用过的顺序,并按每种顺序给两个系统计分。先计算每次运行中两个分数的差值,再总结差值的范围。
在另一个使用三个参考文件的示例中,A 的分数在 22.67 到 79.03 之间,B 的分数在 16.33 到 43.33 之间。两个范围有重叠。不过,在两个系统共同采用的六种顺序中,A 每次都领先 6.33 到 35.69 分。差值用四舍五入前的分数计算。如果顺序会改变胜者,请注明。如果胜者始终相同,请说明哪些共同顺序支持这个结论。要核实最初的分数,请找出原来的顺序。
参考文件变了,就重新计分
新的参考文本可以提高某个句子的分数,同时降低整个语料库的 chrF2。在第三个示例中,新增一个参考文件让 A 的第一个句子从 6.25 升到 6.94,第二个句子仍是 100。A 的句子平均分上升,语料库分数却从 79.03 降到 43.60。B 保持在 64.31。第一个片段新增的参考文本获得了更高的句子分数,两种顺序下的语料库分数相同。所选计数改变了语料库计算用到的匹配数和分母。
更改参考文件后,用每个版本的原始文件和顺序给两个系统计分。把四个结果放在一起,读者就能直接对比各版本下的结果,看到修改参考文件带来的影响。标明结果是整个语料库的 chrF2,还是各句分数的平均值。