Vai al contenuto principale

Menu

Ricerca

Come riprodurre e confrontare i punteggi chrF sul corpus

Lingua: Italiano

Per riprodurre un punteggio chrF sul corpus, conserva il nome, la versione e le opzioni della metrica e gli input esatti. Salva il file delle previsioni e l’elenco ordinato dei file di riferimento con le relative somme di controllo. Conserva ID di segmento stabili o un altro modo per risalire alla corrispondenza tra le previsioni e i segmenti di ogni file di riferimento.

Gli esempi usano testi inventati, due segmenti e le impostazioni predefinite di chrF2 in SacreBLEU 2.6.0.

Usa l’ordine della valutazione originale

SacreBLEU sceglie un riferimento per ogni previsione. Usa i conteggi del riferimento con il punteggio più alto per la frase. A parità esatta di punteggio, tiene il primo. Per calcolare il chrF2 sul corpus, somma prima i conteggi degli n-grammi selezionati.

Nel primo esempio, per la prima previsione di A entrambi i riferimenti ottengono 6.25. I conteggi degli n-grammi sono diversi. Scambiando l’ordine dei file, il punteggio di A sul corpus scende da 79.03 a 39.48. B resta a 64.31, quindi cambia il vincitore. L’API e la riga di comando danno lo stesso risultato. Tutte e quattro le esecuzioni hanno la stessa firma della metrica. Usa i file nell’ordine originale per verificare il valore riportato.

Confronta entrambi i sistemi in ogni ordine plausibile

Se l’ordine originale è incerto, annota quelli plausibili e calcola i punteggi di entrambi i sistemi per ciascuno. Calcola la differenza in ogni esecuzione prima di riassumere l’intervallo delle differenze.

In un altro esempio con tre file di riferimento, A ottiene punteggi da 22.67 a 79.03 e B da 16.33 a 43.33. Gli intervalli si sovrappongono. Eppure, nei sei ordini usati per entrambi i sistemi, A è in testa da 6.33 a 35.69 punti, calcolati dai punteggi senza arrotondamento. Se l’ordine cambia il vincitore, segnalalo. Se il vincitore resta lo stesso, indica quali ordini comuni confermano la conclusione. Per verificare il valore iniziale, recupera l’ordine originale.

Ricalcola i punteggi quando cambiano i riferimenti

Un nuovo riferimento può far salire il punteggio di una frase e far scendere il chrF2 sul corpus. Nel terzo esempio, aggiungere un file di riferimento porta la prima frase di A da 6.25 a 6.94. La seconda resta a 100. La media delle frasi di A aumenta, mentre il punteggio sul corpus scende da 79.03 a 43.60. B resta a 64.31. Il nuovo riferimento per il primo segmento ottiene un punteggio per la frase strettamente più alto, ed entrambi gli ordini danno lo stesso risultato sul corpus. I conteggi selezionati cambiano sia le corrispondenze sia i denominatori del calcolo sul corpus.

Quando i riferimenti cambiano, valuta entrambi i sistemi con i file esatti di ciascuna versione nel loro ordine. Tieni insieme i quattro risultati, così chi legge può confrontare direttamente i due sistemi in ogni versione e vedere l’effetto della modifica. Indica se il risultato è il chrF2 sul corpus o la media dei punteggi per frase.

Scelta dei riferimenti e calcolo sul corpus in SacreBLEU 2.6.0