Forschung
So prüfst du, ob ein Modell die Passage nutzt
Stelle dem Modell dieselben Fragen zweimal, einmal mit der Passage und einmal ohne. Lass Fragen, Antwortoptionen und Bewertungsregeln gleich. Vergleiche die Ergebnisse, um zu sehen, wie stark die Passage geholfen hat. Prüfe bei Multiple Choice zusätzlich, wie das Modell nur mit den Optionen abschneidet. Die Regel, immer die kürzeste Antwort zu wählen, erzielte im gesamten Belebele-Test 27,03 %. Bei gleichverteiltem Raten sind 25 % zu erwarten. Antwortlänge in Belebele
Ändere nur eine Sache auf einmal
| Was das Modell sieht | Was du vergleichst |
|---|---|
| Passage, Frage und Optionen | Wie oft es mit allen Angaben richtig antwortet |
| Frage und Optionen | Wie oft es ohne Passage richtig antwortet |
| Nur die Optionen | Wie oft es allein anhand der Optionen richtig antwortet |
Verwende in jedem Durchlauf dasselbe Modell und dieselben Einstellungen. Zähle, wie viele Antworten mit der Passage von falsch zu richtig wechseln und wie viele umgekehrt. Diese Zahlen erklären, warum sich das Ergebnis wenig ändern kann, obwohl beide Durchläufe unterschiedliche Fragen richtig beantworten. Bei frei formulierten Antworten vergleichst du die ersten beiden Durchläufe ohne Optionen und verwendest dieselben akzeptierten Antworten.
Schau nach, welche Fragen anders ausgingen
Angenommen, das Modell beantwortet in beiden Durchläufen 70 von 100 Fragen richtig. Nach Zuordnung über die Fragen-ID sind 62 Antworten in beiden Durchläufen richtig und 22 in beiden falsch. Mit der Passage wechseln acht Antworten von falsch zu richtig und acht von richtig zu falsch. Das Ergebnis bleibt bei 70 %. An 16 Fragen kannst du prüfen, wo die Passage geholfen oder geschadet hat.
Teste eine einfache Regel für gleiche Wörter
Die Belebele-Autoren suchten nach Hinweisen in gemeinsamen Wörtern und in der Antwortlänge. Sie berichteten auch von 28 % bei 900 Fragen für ein Modell, das die vorkommenden Wörter berücksichtigte, unabhängig von ihrer Reihenfolge. Belebele-Studie, Abschnitt 3.2 · Anhang A.6
Wir wandten eine feste Regel auf dieselben 900 Belebele-Fragen auf Englisch und Vietnamesisch an. Wir verwendeten keine Passage, die zugehörige Passage oder eine Passage von einer anderen Seite. Für jede Option zählen wir, welcher Anteil ihrer unterschiedlichen Wörter auch in der Frage oder der bereitgestellten Passage vorkommt. Ohne Passage zählt nur die Frage. Die Regel wählt die Option mit dem größten Anteil. Teilen sich mehrere Optionen den ersten Platz, teilen wir einen Punkt gleichmäßig auf und zählen nur den Anteil der als richtig markierten Antwort. Für jede Frage stammen die englische und die vietnamesische Ersatzpassage von derselben anderen Seite in der jeweiligen Sprache. Code · Ergebnisse
| Sprache | Ohne Passage | Passage von einer anderen Seite | Zugehörige Passage |
|---|---|---|---|
| Englisch | 24.60% | 26.38% | 28.72% |
| Vietnamesisch | 25.98% | 24.80% | 27.17% |
Im ersten Vergleich erzielte die zugehörige Passage in beiden Sprachen den höchsten Wert. Danach probierten wir 15 weitere Arten aus, Passagen zu tauschen. Bei den 16 Tauschversuchen lagen die Werte auf Englisch zwischen 24,60 % und 27,89 % und auf Vietnamesisch zwischen 23,58 % und 27,84 %. Die zugehörige Passage lag auf Englisch vor allen 16 Tauschversuchen und auf Vietnamesisch vor 15. Teste mehrere Ersatzpassagen, damit dein Ergebnis weniger von der ausgewählten Seite abhängt. Ergebnisse aller Tauschversuche
Mit der zugehörigen Passage gab es gegenüber dem Durchlauf ohne Passage bei 311 englischen und 313 vietnamesischen Fragen mehr Punkte. Bei 218 englischen und 234 vietnamesischen Fragen gab es weniger. Wenn du die Regel mit einem Modell vergleichst, bewerte beide anhand derselben Fragen.
Lass Fragen und Bewertungsregeln gleich
Speichere zu jeder Antwort die Fragen-ID. Alle 122 Belebele-Dateien teilen 900 IDs, aber 52 haben eine andere Reihenfolge als die englische Datei. Schließt du Fragen mit doppelt vorkommendem Antworttext aus, entferne dieselben IDs aus allen verglichenen Durchläufen. Speichere den Buchstaben der Option, damit bei der Bewertung zwei Optionen mit identischem Text unterscheidbar sind. Prüfung der Fragenreihenfolge · Fragenfilter
Prüfe, was das Modell schon gesehen haben könnte
Eine richtige Antwort ohne Passage kann auf Vorwissen, Hinweisen in der Frage oder den Optionen oder auf Raten beruhen. Wenn du FLORES-200-Entwicklungsdaten zum Abstimmen eines Modells verwendet hast und es jetzt auf Belebele testen willst, kannst du Fragen von diesen URLs ausschließen. Prüfe auch den Text. In den Originaldateien enthielten neun Fragen von anderen URLs in mindestens einer geprüften Sprache oder Schrift noch einen Satz aus der Entwicklungsmenge. Prüfung der Belebele-Passagen
Verwende dieselbe Passage, wenn du die Sprache der Frage änderst
Wenn du wissen willst, ob eine andere Fragensprache das Ergebnis ändert, führe diesen Vergleich separat durch. In den geprüften englischen und vietnamesischen MLQA-Dateien erlauben 511 Fragen-IDs, die Sprache der Frage zu wechseln und die englische Passage und die akzeptierten Antworten exakt beizubehalten. Werte beide Durchläufe mit denselben englischen Antworten aus. Zugeordnete MLQA-Fragen