# 如何复现并比较整个语料库的 chrF 分数

要复现整个语料库的 chrF 分数，请保留指标名称、版本、选项和实际使用的输入。保存预测文件、按原顺序排列的参考文件清单及各文件的校验和。保留固定的文本片段 ID，或用其他方式记录每条预测对应各个参考文件中的哪个片段。

示例使用虚构文本、两个片段以及 SacreBLEU 2.6.0 的默认 chrF2 设置。

## 使用原评估的文件顺序

SacreBLEU 会为每条预测单独选择一条参考文本。它使用句子得分最高的参考文本的计数。如果得分完全相同，就取第一条。计算整个语料库的 chrF2 时，先将选中的 n 元组计数相加，再计算分数。

在第一个示例中，两条参考文本针对 A 的第一条预测都得到 6.25，但 n 元组计数不同。调换文件顺序会让 A 的语料库分数从 79.03 降到 39.48。B 保持在 64.31，因此胜者改变。API 和命令行的结果一致，四次运行的指标签名也完全相同。要核实报告中的数值，请用原来的文件顺序。

**chrF2 · 参考文件顺序**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79.03 | 64.31 |
| `axxxbxxxx → axxx` | 39.48 | 64.31 |

## 按每种可能的顺序比较两个系统

如果不确定原来的顺序，记下可能用过的顺序，并按每种顺序给两个系统计分。先计算每次运行中两个分数的差值，再总结差值的范围。

在另一个使用三个参考文件的示例中，A 的分数在 22.67 到 79.03 之间，B 的分数在 16.33 到 43.33 之间。两个范围有重叠。不过，在两个系统共同采用的六种顺序中，A 每次都领先 6.33 到 35.69 分。差值用四舍五入前的分数计算。如果顺序会改变胜者，请注明。如果胜者始终相同，请说明哪些共同顺序支持这个结论。要核实最初的分数，请找出原来的顺序。

## 参考文件变了，就重新计分

新的参考文本可以提高某个句子的分数，同时降低整个语料库的 chrF2。在第三个示例中，新增一个参考文件让 A 的第一个句子从 6.25 升到 6.94，第二个句子仍是 100。A 的句子平均分上升，语料库分数却从 79.03 降到 43.60。B 保持在 64.31。第一个片段新增的参考文本获得了更高的句子分数，两种顺序下的语料库分数相同。所选计数改变了语料库计算用到的匹配数和分母。

更改参考文件后，用每个版本的原始文件和顺序给两个系统计分。把四个结果放在一起，读者就能直接对比各版本下的结果，看到修改参考文件带来的影响。标明结果是整个语料库的 chrF2，还是各句分数的平均值。

[SacreBLEU 2.6.0 的参考文本选择与语料库计分](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[下载复现脚本和已保存的结果（ZIP）](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
