Onderbouwing voor de handleidingen over leestoetsen

Voor deze controles gebruiken we de oorspronkelijke archieven van Belebele en FLORES-200 en de openbare ontwikkelbestanden van MLQA. Belebele heeft 4 antwoordopties per vraag. De 122 taal- en schriftbestanden in het oorspronkelijke ZIP-bestand hebben dezelfde 900 vraag-ID's. In deze bestanden koppelt elke ID een bron-URL aan een vraagnummer. Belebele-publicatie · Belebele downloaden en bestandsformaat

Koppel elk antwoord aan de juiste vraag

We kopieerden de nummers van de gemarkeerde antwoorden uit elk Belebele-bestand en plaatsten ze in de volgorde van de Engelse vragen. In 52 bestanden staan de vragen in een andere volgorde dan in het Engels. Koppeling van de gekopieerde antwoorden aan elk bestand op basis van rijnummer leverde 73.55% op. Koppeling op basis van vraag-ID leverde 100% op over 109,800 rijen. Bij koppeling op basis van rijnummer kwamen 38,876 antwoorden bij een andere vraag terecht. Daarvan werden er 9,838 toch goed gerekend omdat de antwoordnummers overeenkwamen.

Controleer of twee opties dezelfde tekst hebben

In 148 rijen heeft een andere antwoordoptie exact dezelfde tekst als het gemarkeerde antwoord. We hebben de tekst van het gemarkeerde antwoord uit elke rij gekopieerd. Door de eerste optie met die tekst toe te wijzen, gingen 16 punten verloren. Door de laatste toe te wijzen, gingen 133 punten verloren. Deze controle vergelijkt de tekst exact zoals die in het oorspronkelijke ZIP-bestand is opgeslagen.

Gebruik dezelfde vragen

Als de 148 betrokken rijen alleen worden verwijderd waar ze voorkomen, blijven er per bestand tussen de 894 en 899 vragen over. De betrokken rijen omvatten 23 verschillende vraag-ID's. Als alle 23 ID's uit elk bestand worden verwijderd, blijven in elk bestand dezelfde 877 vragen over.

Controleer waar passages vandaan komen

In het Engelse bestand verwijzen 513 vragen naar pagina's in de oorspronkelijke ontwikkelset van FLORES-200. Voor 417 van die vragen levert het in volgorde samenvoegen van de oorspronkelijke FLORES-zinnen precies de Belebele-passage op. Het aantal exacte overeenkomsten verschilt tussen de 116 andere taal- en schriftbestanden die de archieven gemeen hebben.

We controleerden ook 45,279 Belebele-rijen met FLORES-200-devtest-URL's in de 117 taal- en schriftbestanden die de archieven gemeen hebben, inclusief het Engels. Bij 9 verschillende vraag-ID's bevatte de passage in ten minste 1 bestand een volledige zin uit de ontwikkelset. De controle vergelijkt bron-URL's en exacte tekst in de oorspronkelijke archieven. FLORES-200-documentatie · Oorspronkelijk FLORES-200-archief

Controleer de regel voor het kortste antwoord

Steeds het kortste antwoord kiezen leverde 27.03% op over de volledige Belebele-test. De regel telt tekens nadat equivalente Unicode-tekens en witruimte zijn gestandaardiseerd. Als meerdere opties even kort zijn, verdeelt de regel 1 punt gelijkelijk over die opties en telt alleen het aandeel van het gemarkeerde antwoord mee. Bij een gelijk verdeelde gok tussen 4 opties is de verwachte score 25%. De oorspronkelijke auteurs van Belebele onderzochten woordoverlap en antwoordlengte om aanwijzingen voor het juiste antwoord op te sporen. Ze rapporteerden ook een resultaat van 28% op 900 vragen voor een model dat de woorden gebruikte zonder hun volgorde mee te nemen. Belebele-publicatie, paragraaf 3.2 · Bijlage A.6

Vergelijk scores met verschillende passages

We gebruikten dezelfde 900 vraag-ID's in het Engels en Vietnamees. De regel kiest de antwoordoptie met het hoogste aandeel verschillende woorden dat in de vraag of de aangeleverde passage voorkomt. Zonder passage gebruikt de regel alleen de vraag. Bij een gelijke score wordt 1 punt gelijkelijk over de opties verdeeld. Bij elke testrun met een vervangende passage komt die passage van een andere pagina; in beide talen wordt dezelfde bronpagina voor de vervanging gebruikt.

Taal Geen passage Eerste vervanging Bedoelde passage Bereik over 16 vervangingen
Engels 24.60% 26.38% 28.72% 24.60% tot 27.89%
Vietnamees 25.98% 24.80% 27.17% 23.58% tot 27.84%

De bedoelde passage scoorde hoger dan alle 16 vervangingen in het Engels en dan 15 vervangingen in het Vietnamees. Vergeleken met geen passage leverde de bedoelde passage bij 311 vragen in het Engels en 313 in het Vietnamees meer punten op. Bij 218 vragen in het Engels en 234 in het Vietnamees leverde die minder punten op. Code voor woordvergelijking · Samengevoegde resultaten

Verander de taal van de vraag

In de Engelse en Vietnamese MLQA-ontwikkelbestanden komen 511 vraag-ID's voor in alle 4 combinaties van vraag- en passagetaal. Als bij deze ID's de vraagtaal van Engels naar Vietnamees verandert terwijl de Engelse passage gelijk blijft, blijven de passage en de lijst met geaccepteerde antwoorden exact hetzelfde. Bij een vergelijking met deze opzet worden beide testruns beoordeeld aan de hand van dezelfde Engelse antwoorden. MLQA-publicatie · Indeling van MLQA-bestanden

Herhaal de controle op overeenkomende woorden

Download het oorspronkelijke Belebele-ZIP-bestand, het script voor woordvergelijking, het bijbehorende Python-hulpscript en de opgeslagen samengevoegde resultaten. Zet ze in dezelfde map. Het script controleert de hash van het archief en leest de Engelse en Vietnamese bestanden. Het geeft scores weer in punteenheden, waarbij 12 eenheden gelijkstaan aan 1 correct antwoord. Gebruik Python 3.12 om de vergelijking te herhalen.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json