Sari la conținutul principal

Meniu

Cercetare

Cum refaci și compari scorurile chrF la nivel de corpus

Limbă: Română

Pentru a reface un scor chrF la nivel de corpus, păstrează numele, versiunea și setările metricii, precum și datele exacte folosite. Salvează fișierul cu predicții și lista ordonată a fișierelor de referință cu sumele lor de control. Păstrează ID-uri stabile pentru segmente sau altă evidență a corespondenței dintre predicții și segmentele din fiecare fișier de referință.

Exemplele folosesc texte fictive, două segmente și setările implicite pentru chrF2 din SacreBLEU 2.6.0.

Folosește ordinea din evaluarea inițială

SacreBLEU alege o referință pentru fiecare predicție. Folosește numărătorile din referința care dă cel mai mare scor pentru propoziție. La egalitate exactă păstrează prima referință. Pentru chrF2 la nivel de corpus, adună numărătorile de n-grame selectate înainte de calculul scorului.

În primul exemplu, ambele referințe au scorul 6.25 pentru prima predicție a lui A. Numărătorile de n-grame diferă. Inversarea fișierelor coboară scorul lui A pe corpus de la 79.03 la 39.48. B rămâne la 64.31, așa că se schimbă câștigătorul. API-ul și linia de comandă dau același rezultat. Toate cele patru rulări au aceeași semnătură a metricii. Folosește fișierele în ordinea inițială pentru a verifica valoarea raportată.

Compară ambele sisteme în fiecare ordine plauzibilă

Dacă ordinea inițială este incertă, notează ordinea sau ordinele plauzibile și calculează scorurile ambelor sisteme pentru fiecare. Calculează diferența în fiecare rulare, apoi rezumă intervalul diferențelor.

În alt exemplu, cu trei fișiere de referință, scorurile lui A merg de la 22.67 la 79.03, iar ale lui B de la 16.33 la 43.33. Intervalele se suprapun. Totuși, în toate cele șase ordini folosite pentru ambele sisteme, A conduce cu 6.33 până la 35.69 puncte, calculate din scorurile fără rotunjire. Dacă ordinea schimbă câștigătorul, notează acest lucru. Dacă același sistem rămâne în față, arată care ordini comune susțin concluzia. Recuperează ordinea inițială pentru a verifica valoarea inițială.

Recalculează scorurile când se schimbă referințele

O referință nouă poate crește scorul unei propoziții și reduce chrF2 la nivel de corpus. În al treilea exemplu, un fișier de referință adăugat crește scorul primei propoziții a lui A de la 6.25 la 6.94. Scorul celei de-a doua rămâne la 100. Media propozițiilor lui A crește, însă scorul pe corpus scade de la 79.03 la 43.60. B rămâne la 64.31. Referința adăugată pentru primul segment are un scor strict mai mare pe propoziție, iar ambele ordini dau același rezultat pentru corpus. Numărătorile selectate schimbă atât numărul de potriviri, cât și numitorii din calculul pentru corpus.

Când se schimbă referințele, calculează scorurile ambelor sisteme cu fișierele exacte din fiecare versiune, în ordinea lor. Păstrează cele patru rezultate împreună pentru a arăta comparația directă din fiecare versiune și efectul modificării. Menționează dacă rezultatul este chrF2 la nivel de corpus sau media scorurilor pe propoziții.

Alegerea referințelor și calculul la nivel de corpus în SacreBLEU 2.6.0