Dokumentation for vejledningerne til læsetest
Disse kontroller bruger de oprindelige arkiver for Belebele og FLORES-200 samt de offentligt tilgængelige udviklingsfiler fra MLQA. Belebele har 4 svarmuligheder pr. spørgsmål. De 122 sprog- og skriftfiler i den oprindelige ZIP-fil har 900 fælles spørgsmåls-ID'er. I disse filer forbinder hvert ID en kilde-URL med et spørgsmålsnummer. Belebele-forskningsartikel · Download og format for Belebele
Match svar med spørgsmål
Vi kopierede de markerede svarnumre fra hver Belebele-fil og arrangerede dem i den engelske spørgsmålsrækkefølge. I 52 filer står spørgsmålene i en anden rækkefølge end på engelsk. Da vi matchede de kopierede svar med hver fil efter rækkenummer, gav det en score på 73.55%. Match efter spørgsmåls-ID gav 100% på tværs af 109,800 rækker. Ved match efter rækkenummer blev 38,876 svar knyttet til et andet spørgsmål. Af disse fik 9,838 alligevel point, fordi svarnumrene stemte overens.
Se, om svartekster gentages
I 148 rækker har en anden svarmulighed præcis samme tekst som det markerede svar. Vi kopierede teksten fra det markerede svar i hver række. Når vi tildelte den første svarmulighed med den tekst, gik 16 point tabt. Når vi tildelte den sidste, gik 133 point tabt. Denne kontrol sammenligner teksten præcis, som den er gemt i den oprindelige ZIP-fil.
Brug de samme spørgsmål
Hvis de 148 berørte rækker kun fjernes der, hvor de forekommer, er der mellem 894 og 899 spørgsmål tilbage pr. fil. De berørte rækker omfatter 23 forskellige spørgsmåls-ID'er. Hvis alle 23 ID'er fjernes fra alle filer, er de samme 877 spørgsmål tilbage i hver fil.
Undersøg, hvor teksterne kommer fra
I den engelske fil henviser 513 spørgsmål til sider i det oprindelige udviklingssæt fra FLORES-200. For 417 af disse spørgsmål kan Belebele-teksten gengives præcist ved at sætte de oprindelige FLORES-sætninger sammen i rækkefølge. Antallet af præcise match varierer på tværs af de 116 andre sprog- og skriftfiler, som arkiverne har til fælles.
Vi undersøgte også 45,279 Belebele-rækker fra FLORES-200-URL'er i devtest på tværs af de 117 fælles sprog- og skriftfiler, herunder den engelske. For hvert af 9 forskellige spørgsmåls-ID'er indeholdt teksten en komplet sætning fra udviklingssættet i mindst én fil. Kontrollen matcher kilde-URL'er og præcis tekst i kildearkiverne. Dokumentation for FLORES-200 · Oprindeligt FLORES-200-arkiv
Undersøg reglen om det korteste svar
Ved altid at vælge det korteste svar opnåede vi en score på 27.03% på hele Belebele-testen. Reglen tæller tegn efter normalisering af ækvivalente Unicode-tegn og mellemrumstegn. Hvis flere svarmuligheder er lige korte og kortest, fordeles 1 point ligeligt mellem dem, og kun det markerede svars andel tælles med. Et tilfældigt gæt med samme sandsynlighed for hver af de 4 svarmuligheder giver en forventet score på 25%. De oprindelige forfattere bag Belebele brugte ordoverlap og svarlængde til at undersøge, om der var ledetråde. De rapporterede også et resultat på 28% på 900 spørgsmål fra en model, der brugte ordene uden at tage hensyn til deres rækkefølge. Belebele-forskningsartikel, afsnit 3.2 · Bilag A.6
Sammenlign resultater med forskellige tekster
Vi brugte de samme 900 spørgsmåls-ID'er på engelsk og vietnamesisk. Reglen vælger den svarmulighed, hvor den største andel af de forskellige ord også findes i spørgsmålet eller den angivne tekst. Uden en tekst bruges kun spørgsmålet. Svarmuligheder med samme score deler 1 point ligeligt. I hver kørsel med en erstatningstekst hentes teksten fra en anden side, og den samme kildeside bruges til erstatning på begge sprog.
| Sprog | Uden tekst | Første erstatningstekst | Tilsigtet tekst | Spænd på tværs af 16 erstatningstekster |
|---|---|---|---|---|
| Engelsk | 24.60% | 26.38% | 28.72% | 24.60% til 27.89% |
| Vietnamesisk | 25.98% | 24.80% | 27.17% | 23.58% til 27.84% |
Den tilsigtede tekst gav en højere score end alle 16 erstatningstekster på engelsk og end 15 på vietnamesisk. Sammenlignet med ingen tekst gav den tilsigtede tekst flere point på 311 spørgsmål på engelsk og 313 på vietnamesisk. Den gav færre point på 218 spørgsmål på engelsk og 234 på vietnamesisk. Kode til ordmatch · Samlede resultater
Skift spørgsmålets sprog
I de engelske og vietnamesiske udviklingsfiler fra MLQA optræder 511 spørgsmåls-ID'er i alle 4 kombinationer af spørgsmåls- og tekstsprog. For disse ID'er er teksten og listen over accepterede svar præcis de samme, når spørgsmålets sprog ændres fra engelsk til vietnamesisk, mens den engelske tekst holdes fast. En sammenligning med denne opsætning scorer begge kørsler mod de samme engelske svar. MLQA-forskningsartikel · MLQA-filstruktur
Gentag kontrollen af ordmatch
Download den oprindelige Belebele-ZIP-fil, scriptet til ordmatch, dets Python-hjælpescript og de gemte samlede resultater. Læg dem i samme mappe. Scriptet kontrollerer arkivets hashværdi og læser de engelske og vietnamesiske filer. Det angiver resultaterne i pointenheder, hvor 12 enheder svarer til ét korrekt svar. Brug Python 3.12 til at gentage sammenligningen.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json