Naar de hoofdinhoud

Menu

Onderzoek

Scores van leestoetsen met meerkeuzevragen vergelijken tussen talen

Taal: Nederlands

Gebruik in elke taal dezelfde vragen en scoreregels. Controleer op dubbele antwoordopties en passages die het model mogelijk al heeft gezien. Bij Belebele, een meertalige leestoets, kopieerden we de juiste antwoordnummers uit elk bestand en zetten ze in de Engelse vraagvolgorde. Koppelen op rijnummer gaf 73,55%. Koppelen op vraag-ID gaf 100%. Belebele-score opnieuw berekenen

Koppel elk antwoord aan de juiste vraag

Bewaar bij elk antwoord de taal, vraag-ID en het gekozen nummer of de gekozen letter. De 122 Belebele-bestanden delen dezelfde 900 vraag-ID’s, maar 52 bestanden gebruiken een andere volgorde dan het Engelse. Bij koppeling op rijnummer kregen 9.838 verkeerd gekoppelde antwoorden toch punten omdat de antwoordnummers toevallig overeenkwamen. Vraagvolgorde controleren

Controleer of twee opties dezelfde tekst hebben

Stel dat bij B en D allebei 12 staat en het bestand B als juist markeert. Het antwoord 12 geeft de tekst. Om op positie te scoren heb je de letter nodig. In Belebele herhalen 148 rijen de tekst van het gemarkeerde antwoord. Nadat we de exacte tekst hadden gekopieerd, kostte de eerste passende optie 16 punten en de laatste 133. Kies of je op labels of op antwoordtekst scoort en controleer de opties met diezelfde regel. Dubbele antwoordopties

Vergelijk scores op dezelfde vragen

Laat je de 148 rijen met dubbele antwoorden alleen weg waar ze voorkomen, dan blijven er per taal 894 tot 899 vragen over. Wil je in elke taal dezelfde vragen vergelijken, verwijder dan alle 23 betrokken vraag-ID’s uit elk bestand. Dan blijven 877 gedeelde vragen over. Rapporteer het oorspronkelijke en het gescoorde aantal. Vraagfilters vergelijken

Controleer welke passages het model al kan kennen

Heb je de ontwikkelset van FLORES-200 gebruikt om een model af te stemmen? Controleer dan of die passages ook in Belebele staan. In het Engelse bestand verwijzen 513 vragen naar pagina’s uit die set. Bij 417 daarvan vormt het samenvoegen van de FLORES-zinnen precies de passage in Belebele. Het aantal exacte overeenkomsten verschilt tussen de 116 andere bestanden voor talen en schriften die beide datasets delen. Controleer de tekst in de taal waarin je test. Hergebruik van Engelse passages · Hergebruik van vertaalde passages