研究
コーパス全体のchrFスコアを再現して比較する方法
コーパス全体のchrFスコアを再現するには、指標名とバージョン、設定、実際に使った入力を保存します。予測ファイルと参照ファイルの順序付き一覧を、チェックサムと一緒に保存します。固定のセグメントIDか、予測が各参照ファイルのどのセグメントに対応するかを確認できる記録を残します。
例では、架空のテキストと二つのセグメントを使い、SacreBLEU 2.6.0のchrF2を既定の設定で実行します。
元の評価と同じファイル順で計算する
SacreBLEUは、予測ごとに参照を一つ選びます。文のスコアが最も高い参照のカウントを使い、完全な同点なら最初の参照を使います。コーパス全体のchrF2では、選ばれたnグラムのカウントを合計してからスコアを計算します。
最初の例では、Aの最初の予測に対して二つの参照がともに6.25です。nグラムのカウントは参照間で異なります。ファイルを入れ替えると、Aのコーパス全体のスコアは79.03から39.48に下がります。Bは64.31のままなので、順位が逆転します。APIとコマンドラインの結果は同じで、四回の実行で指標のシグネチャも同一です。報告された値を検証するには、ファイルを元の順序で使います。
考えられる順序ごとに両方のシステムを比較する
元の順序が分からない場合は、使われた可能性のある順序を記録し、それぞれで両方のシステムのスコアを計算します。差の範囲をまとめる前に、実行ごとに二つのスコアの差を求めます。
別の例では参照ファイルが三つあり、Aのスコアは22.67から79.03、Bは16.33から43.33の範囲です。二つの範囲には重なりがあります。それでも、両方のシステムに共通の六通りの順序すべてで、Aが6.33から35.69ポイント上回ります。差の計算には丸める前のスコアを使っています。順序によって勝者が変わる場合は、そう報告します。同じシステムが勝つ場合は、どの共通の順序でその結論が得られたかを示します。元の数値を検証するには、元の順序を確認します。
参照が変わったらスコアを計算し直す
参照を追加すると、一文のスコアが上がってもコーパス全体のchrF2は下がる場合があります。三つ目の例では、参照ファイルを一つ追加すると、Aの最初の文のスコアが6.25から6.94に上がります。二つ目の文は100のままです。Aの文ごとの平均は上がる一方、コーパス全体のスコアは79.03から43.60に下がります。Bは64.31のままです。最初のセグメントに追加した参照は文のスコアがより高く、どちらの順序でもコーパス全体の結果は同じです。選ばれたカウントによって、コーパス全体の計算に使う一致数と分母がどちらも変わります。
参照が変わったら、各バージョンで使われたファイルをその順序で使い、両方のシステムのスコアを計算します。四つの結果を並べて、各バージョンでの直接比較と改訂の影響が分かるようにします。結果がコーパス全体のchrF2なのか、文ごとのスコアの平均なのかを明記します。