Hoppa till huvudinnehållet

Meny

Forskning

Så jämför du resultat från flervalsprov i läsning mellan språk

Språk: Svenska

Använd samma frågor och poängregler på varje språk. Leta efter upprepade svarsalternativ och texter modellen kan ha sett tidigare. I det flerspråkiga lästestet Belebele kopierade vi de rätta svarsnumren från varje fil och ordnade dem enligt frågornas ordning på engelska. Matchning efter radnummer gav 73,55 %. Matchning efter fråge-ID gav 100 %. Omräkning av Belebele-poäng

Koppla varje svar till rätt fråga

Spara språk, fråge-ID och valt nummer eller vald bokstav med varje svar. Alla 122 Belebele-filer har samma 900 fråge-ID:n, men 52 filer listar frågorna i en annan ordning än den engelska. Vid matchning efter rad fick 9 838 svar på fel fråga ändå poäng eftersom svarsnumren råkade vara desamma. Kontroll av frågeordningen

Kolla om två alternativ har samma text

Tänk dig att både B och D visar 12 och filen markerar B som rätt. Svaret 12 ger texten. För att ge poäng efter placering behöver du bokstaven. I 148 Belebele-rader upprepas det markerade svarets text. När vi kopierade den exakt gav valet av första matchningen 16 förlorade poäng och sista matchningen 133. Bestäm om testet ger poäng för alternativets beteckning eller dess text och kontrollera alternativen med samma regel. Upprepade svarsalternativ

Jämför poäng på samma frågor

Om du tar bort de 148 raderna med upprepade svar bara där de finns återstår 894 till 899 frågor per språk. För att jämföra samma frågor på alla språk tar du bort alla 23 berörda ID:n från varje fil. Då återstår 877 gemensamma frågor. Redovisa hur många som fanns från början och hur många du poängsatte. Jämförelse av frågefilter

Kolla vilka texter modellen kan ha sett tidigare

Om du använde utvecklingsdelen av FLORES-200 för att anpassa en modell, kolla om samma texter finns i Belebele. I den engelska filen pekar 513 frågor på sidor från den delen. För 417 av dem ger FLORES-meningarna tillsammans exakt samma text som i Belebele. Antalet exakta träffar varierar i de 116 övriga språk- och skriftfiler som båda datamängderna delar. Kontrollera texten på språket du testar. Återanvändning av engelska texter · Återanvändning av översatta texter