Belege für die Auswahl eines mehrsprachigen Lesetests
Diese Prüfungen vergleichen die Fragen und Sprachen in bestimmten Versionen von TyDi QA, XQuAD, MLQA und Belebele. Die Zahlen beziehen sich auf die Dateien, die im Leitfaden verwendet werden.
Welche Fragen sind in beiden TyDi-QA-Dateien enthalten?
Wir haben die Entwicklungsdateien anhand von Sprache, Artikeltitel und genauem Wortlaut der Frage abgeglichen. Jede der 5,077 Gold-Passage-Zeilen entsprach einer der 18,670 Zeilen der Hauptaufgabe. In den 9 gemeinsamen Sprachen fehlen in der Gold-Passage-Datei 1,285 Zeilen der Hauptaufgabe, bei denen mindestens eine annotierende Person eine schriftliche Antwort markiert hat. Die Entwicklungsdatei der Hauptaufgabe enthält Japanisch und Thai; die Gold-Passage-Datei enthält keine Zeilen in diesen beiden Sprachen.
Um einen ganzen Artikel mit einer kürzeren Eingabe zu vergleichen, lass dasselbe Modell zweimal eine schriftliche Antwort geben. Kopiere die kürzere Passage genau aus dem Artikel. Verwende dieselben Einstellungen, dieselbe Frage, dasselbe Antwortformat, dieselben akzeptierten Antworten und dieselbe Bewertungsregel. Prüfe, ob jede akzeptierte Antwort in beiden Eingaben vorkommt. Wenn du Gold Passage in der bereitgestellten Form verwendest, prüfe den Auszug und seine Antwortliste. Der Abgleich anhand der Fragen zeigt, welche Fragen in beiden Dateien enthalten sind. Der Text der Passagen und die akzeptierten Antworten können sich unterscheiden.
Sowohl bei der Auswertung der Hauptaufgabe als auch bei der Gold-Passage-Auswertung schließen die Autoren Englisch aus ihrem jeweiligen Gesamtdurchschnitt aus.
Anzahlen nach Sprache (JSON) · Vergleichsskript (Python) · Entwicklungsdatei der Hauptaufgabe in festgelegter Version · Gold-Passage-Entwicklungsdatei in festgelegter Version · Offizielle Bewertungsregeln
Speichere die beiden Quelldateien als primary.parquet und gold.parquet. Speichere das Skript und die Anzahlen im selben Verzeichnis und führe dann den Vergleich aus. Das Skript prüft die beiden Prüfsummen der Eingabedateien, bevor es sie einliest.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Welche XQuAD-Fragen stammen aus SQuAD?
Alle 1,190 englischen XQuAD-IDs entsprechen Fragen in der SQuAD-1.1-Entwicklungsdatei. Bei diesen IDs stimmen Artikeltitel, Passage und Fragetext genau überein. Alle 12 Dateien der von uns geprüften XQuAD-Version enthalten dieselben IDs, einschließlich der rumänischen Datei, die nach der ursprünglichen Veröffentlichung hinzugefügt wurde.
Fragezahlen und Übereinstimmungen (JSON) · Ursprüngliche XQuAD-Veröffentlichung · XQuAD-Version mit festgelegtem Stand · SQuAD-Entwicklungsdatei in festgelegter Version
Was bleibt gleich, wenn sich die Sprache einer MLQA-Frage ändert?
Die 4 englisch-vietnamesischen Entwicklungsdateien haben 511 Frage-IDs gemeinsam. Beim Wechsel von englischen zu vietnamesischen Fragen bei gleichbleibender englischer Passage änderten sich alle 511 Fragen, aber keine der Passagen und keine der Listen akzeptierter Antworten. Die Prüfung vergleicht jede Passage und die geordnete Liste der akzeptierten Antworten, einschließlich der gespeicherten Positionen. Verwende dieselben englischen Antworten, um beide Durchläufe zu bewerten.
Anzahlen aus dem Dateivergleich (JSON) · Offizielle MLQA-Downloads · Ursprüngliche MLQA-Veröffentlichung
Welche Sprachen sind in den 4 Dateisätzen enthalten?
Wir haben die TyDi-QA-Entwicklungsdateien für die Hauptaufgabe und Gold Passage, die XQuAD-Version mit festgelegtem Stand sowie die MLQA-Entwicklungsdateien geprüft, die für Frage und Passage dieselbe Sprache verwenden. Arabisch und Englisch sind die einzigen Sprachen, die in allen 4 Dateisätzen vorkommen. Thai ist in der TyDi-QA-Hauptaufgabe und in XQuAD enthalten, fehlt aber in Gold Passage.
Sprachcodes nach Dateisatz (JSON)
Wo finde ich den thailändischen Multiple-Choice-Test?
Belebele enthält eine thailändische Datei namens tha_Thai.jsonl. Verwende sie für Fragen, bei denen das Modell nach dem Lesen einer Passage eine von 4 Antworten auswählen soll.
Thailändische Datei der Autoren in festgelegter Version · Ursprüngliche Belebele-Veröffentlichung · So vergleichst du Ergebnisse von Multiple-Choice-Lesetests zwischen Sprachen