研究
如何重現並比較整個語料庫的 chrF 分數
要重現整個語料庫的 chrF 分數,請保留指標名稱、版本、選項與實際使用的輸入資料。儲存預測檔、按原順序排列的參考檔清單及各檔的總和檢查碼。保留固定的片段 ID,或用其他方式記錄每筆預測對應到各個參考檔的哪個片段。
範例使用虛構文字、兩個片段和 SacreBLEU 2.6.0 的預設 chrF2 設定。
使用原評估的檔案順序
SacreBLEU 為每筆預測各選一筆參考文字。它使用句子分數最高的參考文字的計數,完全同分時保留第一筆。計算整個語料庫的 chrF2 時,先加總選用的 n 元組計數,再算出分數。
在第一個範例中,兩筆參考文字對 A 的第一筆預測都得了 6.25,但 n 元組計數不同。對調檔案順序會讓 A 的語料庫分數從 79.03 降到 39.48。B 維持在 64.31,因此領先者改變。API 和命令列給的結果相同,四次執行的指標簽章也完全相同。若要確認報告中的數字,請用原來的檔案順序。
用各種可能的順序比較兩個系統
如果不確定原來的順序,請記下可能用過的順序,再按每種順序計算兩個系統的分數。先算出每次執行的分數差,再整理差距範圍。
在另一個使用三個參考檔的範例中,A 的分數介於 22.67 和 79.03 之間,B 則介於 16.33 和 43.33 之間。兩個範圍有重疊。然而,兩個系統共同採用的六種順序中,A 每次都領先 6.33 到 35.69 分。差距是用四捨五入前的分數算出的。如果順序會改變領先者,請註明。如果領先者相同,請寫出哪些共同順序支持這項結論。找回原來的順序才能核對原先的分數。
參考檔變更後,重新計分
新的參考文字可能提高某個句子的分數,同時降低整個語料庫的 chrF2。在第三個範例中,新增一個參考檔讓 A 的第一個句子從 6.25 升到 6.94,第二個句子維持 100。A 的句子平均分數上升,但語料庫分數從 79.03 降到 43.60。B 維持在 64.31。第一個片段新增的參考文字拿到較高的句子分數,兩種順序算出的語料庫分數相同。選用的計數同時改變了語料庫計分中的相符數量和分母。
參考檔變更時,請用各版本實際使用的檔案和順序計算兩個系統的分數。把四個結果放在一起,方便讀者直接比較各版本下兩個系統的表現,並看出改動的影響。標明結果是整個語料庫的 chrF2,還是各句分數的平均值。