Dokumentasjon for veiledningene om sammenligning av resultater fra leseprøver

Disse kontrollene bruker de opprinnelige arkivene for Belebele og FLORES-200 samt de offentlige utviklingsfilene for MLQA. I Belebele har hvert spørsmål 4 svaralternativer. De 122 språk- og skriftsystemfilene i den opprinnelige ZIP-filen har de samme 900 spørsmåls-ID-ene. I disse filene kobler hver ID en kilde-URL til et spørsmålsnummer. Belebele-artikkelen · Nedlasting og format for Belebele

Koble hvert svar til riktig spørsmål

Vi kopierte de markerte svarnumrene fra hver Belebele-fil og ordnet dem i samme spørsmålsrekkefølge som i den engelske filen. I 52 filer står spørsmålene i en annen rekkefølge enn i den engelske. Når vi koblet de kopierte svarene til hver fil etter radnummer, fikk vi 73.55%. Når vi koblet dem etter spørsmåls-ID, fikk vi 100% på tvers av 109,800 rader. Ved kobling etter radnummer ble 38,876 svar koblet til et annet spørsmål. Av disse fikk 9,838 likevel poeng fordi svarnumrene var like.

Se om to svaralternativer har samme tekst

I 148 rader har et annet svaralternativ nøyaktig samme tekst som det markerte svaret. Vi kopierte teksten i det markerte svaret fra hver rad. Ved å tilordne det første alternativet med denne teksten gikk 16 poeng tapt. Ved å tilordne det siste gikk 133 poeng tapt. Kontrollen sammenligner teksten nøyaktig slik den er lagret i den opprinnelige ZIP-filen.

Sammenlign resultatene på de samme spørsmålene

Hvis vi bare fjerner de 148 berørte radene der de forekommer, blir det mellom 894 og 899 spørsmål igjen per fil. De berørte radene omfatter 23 ulike spørsmåls-ID-er. Hvis vi fjerner alle de 23 ID-ene fra hver fil, blir de samme 877 spørsmålene igjen i hver fil.

Sjekk hvor tekstene kommer fra

I den engelske filen peker 513 spørsmål til sider i det opprinnelige utviklingssettet for FLORES-200. For 417 av disse spørsmålene får vi nøyaktig samme tekst som i Belebele når vi setter sammen de opprinnelige FLORES-setningene i rekkefølge. Antallet eksakte treff varierer mellom de 116 øvrige språk- og skriftsystemfilene som finnes i begge arkivene.

Vi kontrollerte også 45,279 Belebele-rader fra FLORES-200-devtest-URL-er på tvers av de 117 språk- og skriftsystemfilene som finnes i begge arkivene, inkludert engelsk. For hver av 9 ulike spørsmåls-ID-er inneholdt teksten en fullstendig setning fra utviklingssettet i minst én fil. Kontrollen sammenligner kilde-URL-er og eksakt tekst i kildearkivene. Dokumentasjon for FLORES-200 · Det opprinnelige FLORES-200-arkivet

Sjekk regelen om å velge det korteste svaret

Å alltid velge det korteste svaret ga 27.03% på hele Belebele-testen. Regelen teller tegn etter at likeverdige Unicode-tegn og mellomromstegn er standardisert. Hvis flere svaralternativer er like korte og kortest, fordeles ett poeng likt mellom dem, og bare det markerte svarets andel telles. Ved tilfeldig valg med lik sannsynlighet mellom de 4 svaralternativene er forventet resultat 25%. De opprinnelige Belebele-forfatterne undersøkte overlappende ord og svarlengde for å finne mulige ledetråder. De rapporterte også et resultat på 28% på 900 spørsmål fra en modell som brukte ordene uten å ta hensyn til rekkefølgen. Belebele-artikkelen, avsnitt 3.2 · Vedlegg A.6

Sammenlign resultater med ulike tekster

Vi brukte de samme 900 spørsmåls-ID-ene på engelsk og vietnamesisk. Regelen velger svaralternativet som har den høyeste andelen ulike ord som forekommer i spørsmålet eller i teksten som er gitt. Når ingen tekst er gitt, bruker den bare spørsmålet. Hvis flere svaralternativer står likt, fordeles ett poeng likt mellom dem. I hver kjøring med erstatningstekst hentes teksten fra en annen side, og den samme kildesiden brukes som erstatning for begge språkene.

Språk Ingen tekst Første erstatningstekst Tiltenkt tekst Spenn for 16 erstatningstekster
Engelsk 24.60% 26.38% 28.72% 24.60% til 27.89%
Vietnamesisk 25.98% 24.80% 27.17% 23.58% til 27.84%

Den tiltenkte teksten ga et høyere resultat enn alle de 16 erstatningstekstene på engelsk og enn 15 av dem på vietnamesisk. Sammenlignet med ingen tekst ga den tiltenkte teksten høyere poeng på 311 spørsmål på engelsk og 313 på vietnamesisk. Den ga lavere poeng på 218 spørsmål på engelsk og 234 på vietnamesisk. Kode for ordsammenligning · Samlede resultater

Endre språket i spørsmålet

I de engelske og vietnamesiske utviklingsfilene for MLQA finnes 511 spørsmåls-ID-er i alle de 4 kombinasjonene av spørsmåls- og tekstspråk. For disse ID-ene er teksten og listen over godkjente svar nøyaktig de samme når spørsmålets språk endres fra engelsk til vietnamesisk og den engelske teksten beholdes. En sammenligning med dette oppsettet vurderer begge kjøringene mot de samme engelske svarene. MLQA-artikkelen · Filstrukturen i MLQA

Gjenta kontrollen av samsvarende ord

Last ned den opprinnelige Belebele-ZIP-filen, skriptet for ordsammenligning, Python-hjelpefilen og de lagrede samlede resultatene. Legg dem i samme mappe. Skriptet kontrollerer arkivets hashverdi og leser de engelske og vietnamesiske filene. Det oppgir resultatene i poengenheter, der 12 enheter tilsvarer ett riktig svar. Bruk Python 3.12 for å gjenta sammenligningen.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json