Forschung
So vergleichst du Ergebnisse aus Multiple-Choice-Lesetests über Sprachen hinweg
Verwende in jeder Sprache dieselben Fragen und Bewertungsregeln. Prüfe, ob sich Antworttexte wiederholen und ob das Modell Passagen schon gesehen haben könnte. Beim mehrsprachigen Lesetest Belebele haben wir die Nummern der richtigen Antworten aus jeder Datei kopiert und in die englische Fragenreihenfolge gebracht. Die Zuordnung nach Zeilennummer ergab 73,55 %. Mit der Fragen-ID waren es 100 %. Belebele-Bewertung nachvollziehen
Ordne jede Antwort der richtigen Frage zu
Speichere zu jeder Antwort die Sprache, die Fragen-ID und die Nummer oder den Buchstaben der gewählten Option. Alle 122 Dateien von Belebele enthalten dieselben 900 Fragen-IDs. In 52 Dateien weicht die Reihenfolge von der englischen ab. Bei der Zuordnung nach Zeilen wurden 9.838 Antworten trotz falscher Frage gewertet, weil die Optionsnummern zufällig übereinstimmten. Fragenreihenfolge prüfen
Prüfe, ob zwei Antwortoptionen denselben Text haben
Angenommen, bei B und D steht jeweils 12 und die Datei markiert B als richtig. Die Antwort 12 liefert den Text. Um nach Position zu bewerten, brauchst du den Buchstaben. In 148 Belebele-Zeilen kommt der markierte Antworttext mehrfach vor. Beim Kopieren der exakten Texte gingen mit der ersten passenden Option 16 Punkte verloren und mit der letzten 133. Lege fest, ob du nach Optionsnummer oder -buchstaben oder nach Antworttext bewertest. Prüfe dann die Optionen nach derselben Regel. Doppelte Antwortoptionen
Vergleiche Ergebnisse für dieselben Fragen
Wenn du die 148 Zeilen mit doppelten Antworten nur dort entfernst, wo sie vorkommen, bleiben je Sprache 894 bis 899 Fragen. Für einen Vergleich mit denselben Fragen in allen Sprachen entfernst du alle 23 betroffenen Fragen-IDs aus jeder Datei. Dann bleiben 877 gemeinsame Fragen. Gib die ursprüngliche und die ausgewertete Anzahl an. Vergleich der Fragenfilter
Prüfe, welche Passagen das Modell schon kennen könnte
Wenn du ein Modell mit der Entwicklungsmenge von FLORES-200 abgestimmt hast, prüfe, ob dieselben Passagen in Belebele vorkommen. In der englischen Datei verweisen 513 Fragen auf Seiten aus der Entwicklungsmenge. Bei 417 davon ergibt das Zusammenfügen der FLORES-Sätze exakt die Passage in Belebele. In den weiteren 116 Sprach- und Schriftdateien, die beide Datensätze teilen, variiert die Zahl exakter Treffer. Prüfe den Text in der Sprache des Tests. Wiederverwendete englische Passagen · Wiederverwendete übersetzte Passagen