Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak zopakovat výpočet a porovnat skóre chrF pro celý korpus

Jazyk: Čeština

Chcete-li zopakovat výpočet skóre chrF pro celý korpus, uložte název a verzi metriky, její nastavení a přesné vstupy. Zachovejte soubor s predikcemi a seznam referenčních souborů v původním pořadí včetně kontrolních součtů. Uložte stálá ID segmentů nebo jiný záznam o tom, jak predikce odpovídají segmentům v jednotlivých referenčních souborech.

Příklady používají smyšlené texty, dva segmenty a výchozí nastavení chrF2 v SacreBLEU 2.6.0.

Použijte pořadí z původního hodnocení

SacreBLEU vybírá referenci zvlášť pro každou predikci. Použije počty z reference s nejvyšším skóre pro danou větu. Při přesné shodě skóre vybere první referenci. Při výpočtu chrF2 pro celý korpus nejprve sečte vybrané počty n-gramů.

V prvním příkladu mají obě reference pro první predikci systému A stejné skóre 6.25. Jejich počty n-gramů se liší. Po záměně pořadí souborů klesne skóre systému A za celý korpus z 79.03 na 39.48. B zůstane na 64.31, takže se změní vítěz. API a příkazová řádka dávají stejný výsledek. Všechny čtyři běhy mají stejnou signaturu metriky. Uvedenou hodnotu ověřte se soubory v původním pořadí.

Porovnejte oba systémy v každém pravděpodobném pořadí

Pokud původní pořadí neznáte jistě, zapište, která pořadí připadají v úvahu, a pro každé vypočítejte skóre obou systémů. Nejprve spočítejte rozdíl v každém běhu a potom shrňte rozsah rozdílů.

V jiném příkladu se třemi referenčními soubory se skóre A pohybuje od 22.67 do 79.03 a skóre B od 16.33 do 43.33. Rozsahy se překrývají. Přesto A vede ve všech šesti pořadích použitých pro oba systémy o 6.33 až 35.69 bodu. Rozdíly vycházejí z nezaokrouhlených skóre. Pokud se vítěz v závislosti na pořadí mění, uveďte to. Pokud zůstává stejný, napište, která společná pořadí závěr podporují. Původní hodnotu ověříte, když zjistíte původní pořadí.

Po změně referencí přepočítejte skóre

Nová reference může zvýšit skóre jedné věty a zároveň snížit chrF2 pro celý korpus. Ve třetím příkladu přidání referenčního souboru zvýší skóre první věty A z 6.25 na 6.94. Druhá zůstane na 100. Průměr skóre po větách u A stoupne, ale skóre za celý korpus klesne z 79.03 na 43.60. B zůstane na 64.31. Nová reference pro první segment má vyšší skóre věty a obě pořadí dávají stejný výsledek pro korpus. Zvolené počty změní počet shod i jmenovatele při výpočtu pro celý korpus.

Při změně referencí ohodnoťte oba systémy s přesnými soubory každé verze v jejím pořadí. Uložte čtyři výsledky pohromadě, aby čtenář mohl systémy v každé verzi přímo porovnat a vidět vliv změny. Uveďte, zda jde o chrF2 pro celý korpus, nebo o průměr skóre jednotlivých vět.

Výběr referencí a výpočet pro celý korpus v SacreBLEU 2.6.0