# Jak zopakovat výpočet a porovnat skóre chrF pro celý korpus

Chcete-li zopakovat výpočet skóre chrF pro celý korpus, uložte název a verzi metriky, její nastavení a přesné vstupy. Zachovejte soubor s predikcemi a seznam referenčních souborů v původním pořadí včetně kontrolních součtů. Uložte stálá ID segmentů nebo jiný záznam o tom, jak predikce odpovídají segmentům v jednotlivých referenčních souborech.

Příklady používají smyšlené texty, dva segmenty a výchozí nastavení chrF2 v SacreBLEU 2.6.0.

## Použijte pořadí z původního hodnocení

SacreBLEU vybírá referenci zvlášť pro každou predikci. Použije počty z reference s nejvyšším skóre pro danou větu. Při přesné shodě skóre vybere první referenci. Při výpočtu chrF2 pro celý korpus nejprve sečte vybrané počty n-gramů.

V prvním příkladu mají obě reference pro první predikci systému A stejné skóre 6.25. Jejich počty n-gramů se liší. Po záměně pořadí souborů klesne skóre systému A za celý korpus z 79.03 na 39.48. B zůstane na 64.31, takže se změní vítěz. API a příkazová řádka dávají stejný výsledek. Všechny čtyři běhy mají stejnou signaturu metriky. Uvedenou hodnotu ověřte se soubory v původním pořadí.

**chrF2 · Pořadí referencí**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Porovnejte oba systémy v každém pravděpodobném pořadí

Pokud původní pořadí neznáte jistě, zapište, která pořadí připadají v úvahu, a pro každé vypočítejte skóre obou systémů. Nejprve spočítejte rozdíl v každém běhu a potom shrňte rozsah rozdílů.

V jiném příkladu se třemi referenčními soubory se skóre A pohybuje od 22.67 do 79.03 a skóre B od 16.33 do 43.33. Rozsahy se překrývají. Přesto A vede ve všech šesti pořadích použitých pro oba systémy o 6.33 až 35.69 bodu. Rozdíly vycházejí z nezaokrouhlených skóre. Pokud se vítěz v závislosti na pořadí mění, uveďte to. Pokud zůstává stejný, napište, která společná pořadí závěr podporují. Původní hodnotu ověříte, když zjistíte původní pořadí.

## Po změně referencí přepočítejte skóre

Nová reference může zvýšit skóre jedné věty a zároveň snížit chrF2 pro celý korpus. Ve třetím příkladu přidání referenčního souboru zvýší skóre první věty A z 6.25 na 6.94. Druhá zůstane na 100. Průměr skóre po větách u A stoupne, ale skóre za celý korpus klesne z 79.03 na 43.60. B zůstane na 64.31. Nová reference pro první segment má vyšší skóre věty a obě pořadí dávají stejný výsledek pro korpus. Zvolené počty změní počet shod i jmenovatele při výpočtu pro celý korpus.

Při změně referencí ohodnoťte oba systémy s přesnými soubory každé verze v jejím pořadí. Uložte čtyři výsledky pohromadě, aby čtenář mohl systémy v každé verzi přímo porovnat a vidět vliv změny. Uveďte, zda jde o chrF2 pro celý korpus, nebo o průměr skóre jednotlivých vět.

[Výběr referencí a výpočet pro celý korpus v SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Stáhnout skripty a uložené výsledky (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
