Gå til hovedindholdet

Menu

Forskning

Sådan sammenligner du resultater fra læsetest med svarmuligheder på tværs af sprog

Sprog: Dansk

Brug samme spørgsmål og regler i alle sprog. Se efter gentagne svarmuligheder og tekster, modellen kan have set før. I den flersprogede læsetest Belebele kopierede vi de korrekte svarnumre fra hver fil og satte dem i engelsk spørgsmålsrækkefølge. Match efter rækkenummer gav 73,55 %. Match efter spørgsmåls-id gav 100 %. Gentaget pointberegning i Belebele

Match hvert svar med det rigtige spørgsmål

Gem sprog, spørgsmåls-id og det valgte nummer eller bogstav med hvert svar. Belebele har samme 900 spørgsmåls-id’er i alle 122 filer, men 52 filer har en anden rækkefølge end den engelske. Ved match efter række fik 9.838 svar på det forkerte spørgsmål alligevel point, fordi svarnumrene tilfældigvis var ens. Kontrol af spørgsmålsrækkefølge

Se, om to svarmuligheder har samme tekst

Forestil dig, at både B og D siger 12, og filen markerer B som korrekt. Svaret 12 giver dig teksten. Hvis du bedømmer efter placering, skal du bruge bogstavet. I 148 Belebele-rækker gentages den markerede svartekst. Da vi kopierede den ordret, kostede det 16 point at vælge første match og 133 at vælge sidste. Beslut, om du scorer efter svarenes mærker eller tekst, og kontrollér valgene efter samme regel. Gentagne svarmuligheder

Sammenlign resultater på de samme spørgsmål

Fjerner du kun de 148 rækker med gentagne svar dér, hvor de forekommer, bliver der mellem 894 og 899 spørgsmål per sprog. Skal alle sprog sammenlignes på samme spørgsmål, så fjern alle 23 berørte id’er fra hver fil. Så er der 877 fælles spørgsmål. Oplys, hvor mange der var, og hvor mange du bedømte. Sammenligning af spørgsmålsfiltre

Se, hvilke tekster modellen kan have set før

Hvis du har brugt udviklingssættet fra FLORES-200 til at justere en model, så se, om de samme tekster findes i Belebele. I den engelske fil henviser 513 spørgsmål til sider fra sættet. For 417 af dem giver de samlede FLORES-sætninger præcis teksten i Belebele. Antallet af nøjagtige match varierer i de 116 andre fælles sprog- og skriftfiler. Kontrollér teksten på det sprog, du tester. Genbrug af engelske tekster · Genbrug af oversatte tekster