# Derlem genelindeki chrF puanları nasıl yeniden hesaplanır ve karşılaştırılır?

Derlem genelinde bir chrF puanını yeniden hesaplamak için metriğin adını, sürümünü, seçeneklerini ve kullanılan girdileri saklayın. Tahmin dosyasını ve sıralı referans dosyası listesini sağlama toplamlarıyla birlikte kaydedin. Sabit bölüm kimliklerini veya tahminlerin her referans dosyasındaki bölümlerle nasıl eşleştiğini gösteren başka bir kaydı saklayın.

Örneklerde kurgusal metinler, iki bölüm ve SacreBLEU 2.6.0'ın varsayılan chrF2 ayarları kullanılıyor.

## İlk değerlendirmedeki sırayı kullanın

SacreBLEU her tahmin için ayrı bir referans seçer. Cümle için en yüksek puanı veren referanstaki sayımları kullanır. Puanlar tam olarak eşitse ilk referansı seçer. Derlem genelindeki chrF2 için, puan hesaplanmadan önce seçilen n-gram sayımları toplanır.

İlk örnekte iki referans da A'nın ilk tahmininde 6.25 puan alır. Referansların n-gram sayımları farklıdır. Dosyaların yerini değiştirmek A'nın derlem puanını 79.03'ten 39.48'e düşürür. B, 64.31'de kalır ve kazanan değişir. API ile komut satırı aynı sonucu verir. Dört çalıştırmanın da metrik imzası aynıdır. Bildirilen değeri doğrulamak için dosyaları ilk sırayla kullanın.

**chrF2 · Referansların sırası**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Her olası sırada iki sistemi karşılaştırın

İlk sıra kesin olarak bilinmiyorsa hangi sıraların mümkün olduğunu kaydedin ve her sırada iki sistemi de puanlayın. Farkların aralığını özetlemeden önce her çalıştırmadaki farkı hesaplayın.

Üç referans dosyası kullanılan başka bir örnekte A'nın puanları 22.67 ile 79.03, B'nin puanları 16.33 ile 43.33 arasındadır. Aralıklar örtüşür. Buna rağmen her iki sistemde de kullanılan altı sıranın tamamında A, yuvarlanmamış puanlarla hesaplandığında 6.33 ile 35.69 puan arasında öndedir. Kazanan sıraya göre değişiyorsa bunu belirtin. Kazanan aynı kalıyorsa hangi ortak sıraların bu sonucu desteklediğini yazın. İlk değeri doğrulamak için dosyaların ilk sırasını bulun.

## Referanslar değiştiğinde puanları yeniden hesaplayın

Yeni bir referans cümle puanını artırırken derlem genelindeki chrF2 puanını düşürebilir. Üçüncü örnekte bir referans dosyası eklemek A'nın ilk cümlesinin puanını 6.25'ten 6.94'e çıkarır. İkinci cümle 100'de kalır. A'nın cümle ortalaması yükselirken derlem puanı 79.03'ten 43.60'a düşer. B, 64.31'de kalır. İlk bölüme eklenen referans önceki referanslardan daha yüksek cümle puanı alır ve iki sıra da aynı derlem sonucunu verir. Seçilen sayımlar derlem hesabındaki eşleşme sayısını ve paydaları değiştirir.

Referanslar değiştiğinde her sürümün dosyalarını kendi sırasında kullanarak iki sistemi de puanlayın. Dört sonucu birlikte saklayın. Böylece okuyucu her sürümde sistemleri doğrudan karşılaştırabilir ve değişikliğin etkisini görebilir. Sonucun derlem genelindeki chrF2 puanı mı yoksa cümle puanlarının ortalaması mı olduğunu belirtin.

[SacreBLEU 2.6.0'da referans seçimi ve derlem puanı hesabı](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Betikleri ve kaydedilmiş sonuçları indirin (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
