Evidenze a supporto delle guide ai benchmark di lettura

Queste verifiche usano gli archivi originali di Belebele e FLORES-200 e i file pubblici di sviluppo di MLQA. Belebele presenta quattro opzioni di risposta per ogni domanda. I 122 file per lingua e sistema di scrittura nello ZIP originale condividono 900 ID domanda. In questi file, ogni ID associa un URL di origine a un numero di domanda. Articolo di ricerca su Belebele · Download e formato di Belebele

Abbina ogni risposta alla domanda giusta

Abbiamo copiato da ogni file Belebele i numeri delle risposte contrassegnate e li abbiamo disposti secondo l’ordine delle domande in inglese. In 52 file le domande sono elencate in un ordine diverso da quello inglese. Abbinando le risposte copiate a ciascun file in base al numero di riga, abbiamo ottenuto 73.55%. Abbinandole in base all’ID domanda, abbiamo ottenuto 100% su 109,800 righe. Con l’abbinamento per numero di riga, 38,876 risposte sono state associate a una domanda diversa. Di queste, 9,838 hanno comunque ricevuto credito perché i numeri delle risposte coincidevano.

Controlla se due opzioni hanno lo stesso testo

In 148 righe, un’altra opzione ha esattamente lo stesso testo della risposta contrassegnata. Abbiamo copiato il testo della risposta contrassegnata da ogni riga. Assegnare la prima opzione con quel testo ha comportato la perdita di 16 crediti. Assegnare l’ultima ne ha comportato la perdita di 133. Questa verifica confronta il testo esattamente come è memorizzato nello ZIP originale.

Confronta i punteggi sulle stesse domande

Rimuovendo le 148 righe interessate solo dai file in cui compaiono, rimangono tra 894 e 899 domande per file. Le righe interessate comprendono 23 ID domanda distinti. Rimuovendo tutti i 23 ID da ogni file, rimangono le stesse 877 domande in ciascuno.

Verifica da dove provengono i brani

Nel file inglese, 513 domande rimandano a pagine della partizione di sviluppo originale di FLORES-200. Per 417 di queste domande, unendo nell’ordine originale le frasi di FLORES si riproduce esattamente il brano di Belebele. Il numero di corrispondenze esatte varia tra gli altri 116 file per lingua e sistema di scrittura condivisi dagli archivi.

Abbiamo anche verificato 45,279 righe di Belebele associate a URL di devtest di FLORES-200 nei 117 file per lingua e sistema di scrittura condivisi, incluso quello inglese. Per ciascuno di 9 ID domanda distinti, il brano conteneva una frase completa della partizione di sviluppo in almeno un file. La verifica confronta gli URL di origine e il testo esatto negli archivi originali. Documentazione di FLORES-200 · Archivio originale di FLORES-200

Verifica la regola della risposta più breve

Scegliendo sempre la risposta più breve si è ottenuto un punteggio del 27.03% sull’intero test Belebele. La regola conta i caratteri dopo aver normalizzato i caratteri Unicode equivalenti e gli spazi bianchi. Se più opzioni sono a pari merito per la lunghezza minima, suddivide equamente un punto tra loro e conta solo la quota della risposta contrassegnata. Una scelta casuale uniforme tra quattro opzioni ha un punteggio atteso del 25%. Gli autori originali di Belebele hanno usato la sovrapposizione delle parole e la lunghezza delle risposte per cercare possibili indizi. Hanno inoltre riportato un risultato del 28% su 900 domande per un modello che usava le parole senza considerarne l’ordine. Articolo di ricerca su Belebele, sezione 3.2 · Appendice A.6

Confronta i punteggi ottenuti con i brani

Abbiamo usato gli stessi 900 ID domanda in inglese e in vietnamita. La regola sceglie l’opzione di risposta con la quota più alta di parole distinte presenti nella domanda o nel brano fornito. In assenza di un brano, usa solo la domanda. Le opzioni a pari merito si dividono equamente un punto. Ogni prova con un brano sostitutivo usa un brano tratto da un’altra pagina, usando la stessa pagina di origine per entrambe le lingue.

Lingua Senza brano Prima sostituzione Brano previsto Intervallo su 16 sostituzioni
Inglese 24.60% 26.38% 28.72% Da 24.60% a 27.89%
Vietnamita 25.98% 24.80% 27.17% Da 23.58% a 27.84%

Il brano previsto ha ottenuto un punteggio superiore a tutte le 16 sostituzioni in inglese e a 15 sostituzioni in vietnamita. Rispetto all’assenza di un brano, il brano previsto ha aumentato il credito ottenuto per 311 domande in inglese e 313 in vietnamita. Lo ha ridotto per 218 domande in inglese e 234 in vietnamita. Codice per il confronto delle parole · Risultati aggregati

Cambia la lingua della domanda

Nei file di sviluppo inglese e vietnamita di MLQA, 511 ID domanda compaiono in tutte e quattro le combinazioni di lingua della domanda e del brano. Per questi ID, passando dalla domanda in inglese a quella in vietnamita e mantenendo fisso il brano inglese, il brano e l’elenco delle risposte accettate rimangono identici. Un confronto con questa configurazione valuta entrambe le prove rispetto alle stesse risposte in inglese. Articolo di ricerca su MLQA · Struttura dei file MLQA

Ripeti la verifica della corrispondenza delle parole

Scarica lo ZIP originale di Belebele, lo script per il confronto delle parole, il relativo script di supporto Python e i risultati aggregati salvati. Mettili nella stessa cartella. Lo script verifica l’hash dell’archivio e legge i file inglese e vietnamita. Riporta i punteggi in unità di credito: 12 unità equivalgono a una risposta corretta. Usa Python 3.12 per ripetere il confronto.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json