# Evidenz zu den Leitfäden für Lesebenchmarks

Diese Prüfungen nutzen die Originalarchive von Belebele und FLORES-200 sowie die öffentlichen MLQA-Entwicklungsdateien. Belebele enthält 4 Antwortoptionen pro Frage. Die 122 Sprach- und Schriftdateien im ursprünglichen ZIP-Archiv haben dieselben 900 Frage-IDs. In diesen Dateien verbindet jede ID eine Quell-URL mit einer Fragenummer. [Belebele-Paper](https://aclanthology.org/2024.acl-long.44/) · [Belebele-Download und -Format](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Ordne jede Antwort der richtigen Frage zu

Wir haben die Nummern der markierten Antworten aus jeder Belebele-Datei kopiert und in der Reihenfolge der englischen Fragen angeordnet. In 52 Dateien stehen die Fragen in einer anderen Reihenfolge als in der englischen Datei. Die Zuordnung der kopierten Antworten zu jeder Datei anhand der Zeilennummer ergab 73.55%. Die Zuordnung anhand der Frage-ID ergab 100% über 109,800 Zeilen. Bei der Zuordnung anhand der Zeilennummer wurden 38,876 Antworten einer anderen Frage zugeordnet. Davon wurden 9,838 trotzdem als richtig gewertet, weil die Antwortnummern übereinstimmten.

## Prüfe, ob zwei Antwortoptionen denselben Text haben

In 148 Zeilen hat eine andere Antwortmöglichkeit genau denselben Text wie die markierte Antwort. Wir haben den Text der markierten Antwort aus jeder Zeile kopiert. Bei der Zuordnung zur ersten Antwortmöglichkeit mit diesem Text gingen 16 Punkte verloren. Bei der Zuordnung zur letzten gingen 133 Punkte verloren. Bei dieser Prüfung wird der Text genau so verglichen, wie er in der ursprünglichen ZIP-Datei gespeichert ist.

## Vergleiche Ergebnisse für dieselben Fragen

Werden die 148 betroffenen Zeilen nur dort entfernt, wo sie vorkommen, bleiben pro Datei zwischen 894 und 899 Fragen übrig. Die betroffenen Zeilen umfassen 23 unterschiedliche Frage-IDs. Werden alle 23 IDs aus jeder Datei entfernt, bleiben in jeder Datei dieselben 877 Fragen übrig.

## Prüfe, woher die Textpassagen stammen

In der englischen Datei verweisen 513 Fragen auf Seiten aus dem ursprünglichen FLORES-200-Entwicklungssplit. Bei 417 dieser Fragen ergibt das Zusammenfügen der ursprünglichen FLORES-Sätze in ihrer Reihenfolge exakt die Belebele-Textpassage. Die Zahl der exakten Übereinstimmungen variiert zwischen den 116 anderen Sprach- und Schriftdateien, die in beiden Archiven enthalten sind.

Wir haben außerdem 45,279 Belebele-Zeilen geprüft, die auf FLORES-200-`devtest`-URLs verweisen, und zwar über die 117 gemeinsamen Sprach- und Schriftdateien hinweg, einschließlich Englisch. Bei 9 unterschiedlichen Frage-IDs enthielt die jeweilige Textpassage in mindestens einer Datei einen vollständigen Satz aus dem Entwicklungssplit. Die Prüfung gleicht Quell-URLs und exakte Texte in den Quellarchiven ab. [FLORES-200-Dokumentation](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Ursprüngliches FLORES-200-Archiv](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Prüfe die Regel der kürzesten Antwort

Die Regel, immer die kürzeste Antwort zu wählen, erreichte über den gesamten Belebele-Test hinweg 27.03%. Sie zählt die Zeichen, nachdem gleichwertige Unicode-Zeichen und Leerraum vereinheitlicht wurden. Sind mehrere Optionen gleich kurz, teilt sie einen Punkt gleichmäßig unter ihnen auf und zählt nur den Anteil der markierten Antwort. Gleichmäßiges Raten unter 4 Optionen ergibt einen Erwartungswert von 25%. Die ursprünglichen Belebele-Autoren untersuchten anhand von Wortüberschneidungen und Antwortlängen, ob die Antwortoptionen Hinweise auf die richtige Antwort enthalten. Sie berichteten außerdem ein Ergebnis von 28% bei 900 Fragen für ein Modell, das die Wörter ohne Berücksichtigung ihrer Reihenfolge nutzte. [Belebele-Paper, Abschnitt 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Anhang A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Vergleiche die Ergebnisse mit verschiedenen Textpassagen

Wir haben im Englischen und Vietnamesischen dieselben 900 Frage-IDs verwendet. Die Regel wählt die Antwortoption mit dem höchsten Anteil unterschiedlicher Wörter, die auch in der Frage oder der bereitgestellten Textpassage vorkommen. Ohne Textpassage nutzt sie nur die Frage. Bei Gleichstand wird ein Punkt gleichmäßig auf die betreffenden Optionen verteilt. Bei jedem Durchlauf mit einer Ersatzpassage stammt diese von einer anderen Seite; in beiden Sprachen wird dieselbe Quellseite für den Ersatz verwendet.

| Sprache | Ohne Textpassage | Erste Ersatzpassage | Vorgesehene Textpassage | Spanne über 16 Ersatzpassagen |
| --- | ---: | ---: | ---: | ---: |
| Englisch | 24.60% | 26.38% | 28.72% | 24.60% bis 27.89% |
| Vietnamesisch | 25.98% | 24.80% | 27.17% | 23.58% bis 27.84% |

Die vorgesehene Textpassage erzielte im Englischen ein höheres Ergebnis als alle 16 Ersatzpassagen und im Vietnamesischen als 15 Ersatzpassagen. Gegenüber dem Durchlauf ohne Textpassage erhöhte die vorgesehene Textpassage die Wertung bei 311 Fragen im Englischen und bei 313 Fragen im Vietnamesischen. Bei 218 Fragen im Englischen und 234 im Vietnamesischen verringerte sie die Wertung. [Code für den Wortabgleich](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Aggregierte Ergebnisse](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Ändere die Sprache der Frage

In den englischen und vietnamesischen MLQA-Entwicklungsdateien kommen 511 Frage-IDs in allen 4 Kombinationen aus Frage- und Textpassagensprache vor. Wird bei diesen IDs die Fragesprache von Englisch auf Vietnamesisch geändert und die englische Textpassage beibehalten, bleiben die Textpassage und die Liste der akzeptierten Antworten exakt gleich. Ein Vergleich mit diesem Aufbau bewertet beide Durchläufe anhand derselben englischen Antworten. [MLQA-Paper](https://aclanthology.org/2020.acl-main.653/) · [MLQA-Dateistruktur](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Wiederhole den Wortabgleich

Lade das [ursprüngliche Belebele-ZIP-Archiv](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), das [Skript für den Wortabgleich](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), sein [Python-Hilfsskript](https://sapien1.com/research/reading-benchmark-evidence/check.py) und die [gespeicherten aggregierten Ergebnisse](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json) herunter. Lege sie im selben Ordner ab. Das Skript prüft den Hashwert des Archivs und liest die englischen und vietnamesischen Dateien. Es gibt die Ergebnisse in Wertungseinheiten aus, wobei 12 Einheiten einer richtigen Antwort entsprechen. Verwende Python 3.12, um den Vergleich zu wiederholen.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
