Badania
Jak odtworzyć i porównać wyniki chrF dla całego korpusu
Aby odtworzyć wynik chrF dla całego korpusu, zapisz nazwę i wersję metryki, jej ustawienia oraz dokładne dane wejściowe. Zachowaj plik z przewidywaniami i uporządkowaną listę plików referencyjnych wraz z sumami kontrolnymi. Zapisz stałe identyfikatory segmentów lub w inny sposób odnotuj, które segmenty każdego pliku referencyjnego odpowiadają przewidywaniom.
Przykłady używają wymyślonych tekstów, dwóch segmentów i domyślnych ustawień chrF2 w SacreBLEU 2.6.0.
Użyj kolejności z pierwotnej oceny
SacreBLEU wybiera osobną referencję dla każdego przewidywania. Korzysta ze zliczeń dla referencji dającej najwyższy wynik dla zdania. Przy dokładnym remisie zachowuje pierwszą referencję. Aby obliczyć chrF2 dla całego korpusu, najpierw sumuje wybrane zliczenia n-gramów.
W pierwszym przykładzie obie referencje dały wynik 6.25 dla pierwszego przewidywania systemu A. Zliczenia n-gramów są różne. Po zamianie kolejności plików wynik A dla korpusu spada z 79.03 do 39.48. B pozostaje przy 64.31, więc zmienia się zwycięzca. API i wiersz poleceń dają ten sam wynik. Wszystkie cztery uruchomienia mają tę samą sygnaturę metryki. Użyj plików w pierwotnej kolejności, aby zweryfikować podaną wartość.
Porównaj oba systemy w każdej możliwej kolejności
Jeśli pierwotna kolejność jest niepewna, zapisz, które układy wchodzą w grę. Następnie oceń oba systemy w każdym z nich. Oblicz różnicę w każdym uruchomieniu, a potem podaj zakres różnic.
W innym przykładzie z trzema plikami referencyjnymi wyniki A mieszczą się w zakresie od 22.67 do 79.03, a B od 16.33 do 43.33. Zakresy się pokrywają. Jednak we wszystkich sześciu kolejnościach wspólnych dla obu systemów A prowadzi o 6.33 do 35.69 punktu, licząc od wyników przed zaokrągleniem. Jeśli zwycięzca zależy od kolejności, zaznacz to. Jeśli wygrywa ten sam system, podaj, które wspólne kolejności potwierdzają wniosek. Odtwórz pierwotną kolejność, aby sprawdzić pierwotną wartość.
Przelicz wyniki po zmianie referencji
Nowa referencja może podnieść wynik zdania i jednocześnie obniżyć chrF2 dla całego korpusu. W trzecim przykładzie dodatkowy plik podnosi wynik pierwszego zdania A z 6.25 do 6.94. Wynik drugiego zostaje na poziomie 100. Średnia po zdaniach dla A rośnie, a wynik dla korpusu spada z 79.03 do 43.60. B pozostaje przy 64.31. Dodana referencja dla pierwszego segmentu uzyskuje ściśle wyższy wynik dla zdania i obie kolejności dają ten sam wynik dla korpusu. Wybrane zliczenia zmieniają liczbę dopasowań i mianowniki w obliczeniach dla korpusu.
Gdy referencje się zmienią, oceń oba systemy na dokładnych plikach z każdej wersji w odpowiedniej kolejności. Zachowaj cztery wyniki razem, aby można było bezpośrednio porównać systemy w każdej wersji i zobaczyć wpływ zmiany. Zaznacz, czy wynik to chrF2 dla całego korpusu, czy średnia wyników dla zdań.