Forskning
Slik sammenligner du resultater fra flervalgsprøver i lesing på tvers av språk
Bruk samme spørsmål og poengregler på hvert språk. Se etter gjentatte svaralternativer og tekster modellen kan ha sett før. I den flerspråklige leseprøven Belebele kopierte vi de riktige svarnumrene fra hver fil og ordnet dem etter spørsmålsrekkefølgen på engelsk. Kobling etter radnummer ga 73,55 %. Kobling etter spørsmåls-ID ga 100 %. Ny poengberegning i Belebele
Koble hvert svar til riktig spørsmål
Lagre språk, spørsmåls-ID og nummeret eller bokstaven som ble valgt. De 122 Belebele-filene deler de samme 900 spørsmåls-ID-ene, men 52 filer har en annen rekkefølge enn den engelske. Med radnummer fikk 9 838 svar koblet til feil spørsmål poeng fordi svarnumrene tilfeldigvis var like. Sjekk av spørsmålsrekkefølge
Se om to svaralternativer har samme tekst
Tenk deg at både B og D viser 12 og filen markerer B som riktig. Svaret 12 gir teksten. For å gi poeng etter plasseringen trenger du bokstaven. I 148 Belebele-rader gjentas teksten i det markerte svaret. Da vi kopierte teksten nøyaktig, kostet første treff 16 poeng og siste treff 133. Bestem om testen skal gi poeng etter svarmerket eller teksten, og sjekk alternativene med samme regel. Gjentatte svaralternativer
Sammenlign resultatene på de samme spørsmålene
Fjerner du de 148 radene med gjentatt svar bare der de forekommer, står 894 til 899 spørsmål igjen per språk. For å sammenligne de samme spørsmålene på alle språk må du fjerne alle de 23 berørte ID-ene fra hver fil. Da står 877 felles spørsmål igjen. Oppgi hvor mange spørsmål du startet med og hvor mange du ga poeng. Sammenligning av spørsmålsfiltre
Sjekk hvilke tekster modellen kan ha sett før
Hvis du brukte utviklingssettet til FLORES-200 for å justere modellen, undersøk om de samme tekstene finnes i Belebele. I den engelske filen viser 513 spørsmål til sider i dette settet. For 417 av dem gir de sammensatte FLORES-setningene nøyaktig teksten i Belebele. Antallet eksakte treff varierer i de 116 andre språk- og skriftfilene begge datasettene har. Sjekk teksten på språket du tester. Gjenbruk av engelske tekster · Gjenbruk av oversatte tekster