# Slik sammenligner du resultater fra flervalgsprøver i lesing på tvers av språk

Bruk samme spørsmål og poengregler på hvert språk. Se etter gjentatte svaralternativer og tekster modellen kan ha sett før. I den flerspråklige leseprøven Belebele kopierte vi de riktige svarnumrene fra hver fil og ordnet dem etter spørsmålsrekkefølgen på engelsk. Kobling etter radnummer ga 73,55 %. Kobling etter spørsmåls-ID ga 100 %. [Ny poengberegning i Belebele](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Koble hvert svar til riktig spørsmål

Lagre språk, spørsmåls-ID og nummeret eller bokstaven som ble valgt. De 122 Belebele-filene deler de samme 900 spørsmåls-ID-ene, men 52 filer har en annen rekkefølge enn den engelske. Med radnummer fikk 9 838 svar koblet til feil spørsmål poeng fordi svarnumrene tilfeldigvis var like. [Sjekk av spørsmålsrekkefølge](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Se om to svaralternativer har samme tekst

Tenk deg at både B og D viser `12` og filen markerer B som riktig. Svaret `12` gir teksten. For å gi poeng etter plasseringen trenger du bokstaven. I 148 Belebele-rader gjentas teksten i det markerte svaret. Da vi kopierte teksten nøyaktig, kostet første treff 16 poeng og siste treff 133. Bestem om testen skal gi poeng etter svarmerket eller teksten, og sjekk alternativene med samme regel. [Gjentatte svaralternativer](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Sammenlign resultatene på de samme spørsmålene

Fjerner du de 148 radene med gjentatt svar bare der de forekommer, står 894 til 899 spørsmål igjen per språk. For å sammenligne de samme spørsmålene på alle språk må du fjerne alle de 23 berørte ID-ene fra hver fil. Da står 877 felles spørsmål igjen. Oppgi hvor mange spørsmål du startet med og hvor mange du ga poeng. [Sammenligning av spørsmålsfiltre](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Sjekk hvilke tekster modellen kan ha sett før

Hvis du brukte utviklingssettet til FLORES-200 for å justere modellen, undersøk om de samme tekstene finnes i Belebele. I den engelske filen viser 513 spørsmål til sider i dette settet. For 417 av dem gir de sammensatte FLORES-setningene nøyaktig teksten i Belebele. Antallet eksakte treff varierer i de 116 andre språk- og skriftfilene begge datasettene har. Sjekk teksten på språket du tester. [Gjenbruk av engelske tekster](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Gjenbruk av oversatte tekster](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
