Zum Hauptinhalt springen

Menü

Forschung

So wählst du einen mehrsprachigen Lesetest aus

Sprache: Deutsch

Wähle einen Test, bei dem das Modell genau das tun soll, was Menschen von ihm brauchen. Die richtige Passage finden, anhand einer vorgegebenen Passage antworten und eine Frage in einer anderen Sprache verstehen sind verschiedene Fähigkeiten. Teste sie getrennt, um zu sehen, welcher Schritt genauer geprüft werden sollte.

Was du prüfen willstWomit du anfängstWas das Modell tut
Findet es die richtige Stelle in einem Artikel?TyDiQA-SelectPWählt eine Passage aus einem Artikel oder meldet, dass keine die Frage beantwortet.
Findet es die Wörter, die die Frage beantworten?TyDiQA-GoldPGibt die Antwortwörter aus einer Passage zurück, die sie enthält.
Beantwortet es dieselben Fragen in mehreren Sprachen?XQuAD oder BelebeleAntwortet in XQuAD anhand übersetzter Passagen oder wählt in Belebele eine von vier Antworten.
Kann es antworten, wenn Frage und Passage verschiedene Sprachen haben?MLQAFindet die Antwort in einer Passage in einer anderen Sprache.

Prüfe, ob das Modell die Antwort findet

Nutze TyDiQA-SelectP, wenn das Modell die richtige Passage in einem Artikel finden soll. Nutze TyDiQA-MinSpan, wenn es auch eine kurze Antwort geben, mit Ja oder Nein antworten oder melden soll, dass der Artikel keine Antwort enthält. Die Fragen für TyDi QA wurden direkt in der jeweiligen Sprache formuliert. Aufgabenbeschreibungen von TyDi QA

Um zu prüfen, wie sehr eine kürzere Passage hilft, bitte dasselbe Modell zweimal um eine schriftliche Antwort. Gib ihm einmal den ganzen Artikel und einmal einen wortwörtlich daraus übernommenen Ausschnitt. Lass Einstellungen, Frage, Antwortformat, zulässige Antworten und Bewertungsregel gleich. Prüfe, ob jede zulässige Antwort in beiden Texten vorkommt. Überprüfe Ausschnitt und Antwortliste, wenn du einen Gold-Passage-Eintrag unverändert verwendest. Die Dateien können dieselbe Frage enthalten, auch wenn Passage oder zulässige Antworten voneinander abweichen. Mit den Entwicklungsdateien von TyDi QA kannst du diesen Vergleich vorbereiten. Alle 5.077 Gold-Passage-Fragen kommen auch in der Hauptvariante mit 18.670 Fragen vor. Gold Passage lässt Japanisch und Thailändisch aus. Unter den neun gemeinsamen Sprachen fehlen 1.285 Fragen mit markierten schriftlichen Antworten. Ordne die Fragen nach Sprache, Artikeltitel und genauem Wortlaut zu. Verwende nur eindeutige Paare. Vergleich der TyDi-QA-Fragen

Vergleiche Sprachen mit denselben Fragen

XQuAD gibt dem Modell übersetzte Fassungen derselben Fragen und Passagen. Die 1.190 englischen Fragen stammen aus dem Entwicklungsdatensatz von SQuAD 1.1. Die geprüften übersetzten Dateien haben dieselben Fragen-IDs. Wenn du das Modell mit den SQuAD-Entwicklungsdaten abgestimmt hast, prüfe auf Überschneidungen, bevor du XQuAD als Test mit neuen Fragen behandelst. Originalarbeit zu XQuAD · Wiederverwendete Fragen prüfen

Belebele eignet sich, wenn das Modell eine von vier Antworten wählen soll. Die 122 Dateien für Sprachen und Schriftsysteme verwenden dieselben 900 Fragen-IDs. Speichere Nummer oder Buchstaben der gewählten Antwort. Zwei Antwortoptionen können denselben Text haben. Behältst du nur den Wortlaut, bleibt womöglich unklar, welche Option das Modell gewählt hat. Wenn du betroffene Fragen ausschließt, nutze in allen verglichenen Sprachen dieselben verbleibenden IDs. Lesetestergebnisse für mehrere Sprachen vergleichen

Ändere die Fragensprache und behalte die Passage bei

Nutze MLQA etwa dann, wenn jemand auf Vietnamesisch nach einem englischen Dokument fragen könnte. In den geprüften englischen und vietnamesischen MLQA-Entwicklungsdateien lassen sich 511 gemeinsame Fragen in beiden Sprachen stellen. Die englische Passage und die zulässigen Antworten bleiben exakt gleich. Bewerte beide Durchläufe anhand derselben englischen Antworten. So siehst du, was sich durch die andere Fragensprache ändert. Originalarbeit zu MLQA · Vergleich der englischen und vietnamesischen Dateien

Um getrennt zu prüfen, wie sehr die Passage hilft, stelle dieselben Fragen mit und ohne Passage. Prüfen, ob ein Modell die Passage nutzt

Prüfe, ob der Test deine Sprache abdeckt

Für Thailändisch kannst du mit TyDiQA-SelectP prüfen, ob das Modell die richtige Passage findet, mit XQuAD, ob es die Antwortwörter in einer vorgegebenen Passage findet, oder mit Belebele, ob es die richtige Antwort auswählt. Die Entwicklungsdatei von TyDiQA-GoldP enthält keine thailändischen Fragen. Arabisch und Englisch sind die einzigen Sprachen in allen vier verglichenen Dateisätzen: TyDi QA Hauptvariante, TyDi QA Gold Passage, XQuAD und MLQA-Entwicklungsdateien mit derselben Sprache für Frage und Passage. Sprachabdeckung prüfen · Sprachdateien von Belebele

Wenn du Ergebnisse angibst, nenne Aufgabe, Sprachen und die Zahl der Fragen für jedes Ergebnis. Beide offiziellen Bewertungsverfahren von TyDi QA lassen Englisch etwa aus dem Gesamtdurchschnitt heraus, obwohl es in den Dateien enthalten ist. Bewertungsregeln von TyDi QA