# 如何重現並比較整個語料庫的 chrF 分數

要重現整個語料庫的 chrF 分數，請保留指標名稱、版本、選項與實際使用的輸入資料。儲存預測檔、按原順序排列的參考檔清單及各檔的總和檢查碼。保留固定的片段 ID，或用其他方式記錄每筆預測對應到各個參考檔的哪個片段。

範例使用虛構文字、兩個片段和 SacreBLEU 2.6.0 的預設 chrF2 設定。

## 使用原評估的檔案順序

SacreBLEU 為每筆預測各選一筆參考文字。它使用句子分數最高的參考文字的計數，完全同分時保留第一筆。計算整個語料庫的 chrF2 時，先加總選用的 n 元組計數，再算出分數。

在第一個範例中，兩筆參考文字對 A 的第一筆預測都得了 6.25，但 n 元組計數不同。對調檔案順序會讓 A 的語料庫分數從 79.03 降到 39.48。B 維持在 64.31，因此領先者改變。API 和命令列給的結果相同，四次執行的指標簽章也完全相同。若要確認報告中的數字，請用原來的檔案順序。

**chrF2 · 參考檔案順序**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79.03 | 64.31 |
| `axxxbxxxx → axxx` | 39.48 | 64.31 |

## 用各種可能的順序比較兩個系統

如果不確定原來的順序，請記下可能用過的順序，再按每種順序計算兩個系統的分數。先算出每次執行的分數差，再整理差距範圍。

在另一個使用三個參考檔的範例中，A 的分數介於 22.67 和 79.03 之間，B 則介於 16.33 和 43.33 之間。兩個範圍有重疊。然而，兩個系統共同採用的六種順序中，A 每次都領先 6.33 到 35.69 分。差距是用四捨五入前的分數算出的。如果順序會改變領先者，請註明。如果領先者相同，請寫出哪些共同順序支持這項結論。找回原來的順序才能核對原先的分數。

## 參考檔變更後，重新計分

新的參考文字可能提高某個句子的分數，同時降低整個語料庫的 chrF2。在第三個範例中，新增一個參考檔讓 A 的第一個句子從 6.25 升到 6.94，第二個句子維持 100。A 的句子平均分數上升，但語料庫分數從 79.03 降到 43.60。B 維持在 64.31。第一個片段新增的參考文字拿到較高的句子分數，兩種順序算出的語料庫分數相同。選用的計數同時改變了語料庫計分中的相符數量和分母。

參考檔變更時，請用各版本實際使用的檔案和順序計算兩個系統的分數。把四個結果放在一起，方便讀者直接比較各版本下兩個系統的表現，並看出改動的影響。標明結果是整個語料庫的 chrF2，還是各句分數的平均值。

[SacreBLEU 2.6.0 的參考文字選擇與語料庫計分](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[下載重現指令碼與儲存的結果（ZIP）](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
