# Materiały źródłowe do poradników o testach czytania

Te analizy wykorzystują oryginalne archiwa Belebele i FLORES-200 oraz publiczne pliki rozwojowe MLQA. W Belebele każde pytanie ma 4 opcje odpowiedzi. Pliki dla 122 języków i systemów pisma w oryginalnym archiwum ZIP mają wspólny zestaw 900 identyfikatorów pytań. W tych plikach każdy identyfikator łączy adres URL źródła z numerem pytania. [Publikacja o Belebele](https://aclanthology.org/2024.acl-long.44/) · [Pobieranie i format Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Dopasuj każdą odpowiedź do właściwego pytania

Skopiowaliśmy numery oznaczonych odpowiedzi z każdego pliku Belebele i ułożyliśmy je w kolejności pytań z pliku angielskiego. W 52 plikach pytania występują w innej kolejności niż w pliku angielskim. Dopasowanie skopiowanych odpowiedzi do każdego pliku według numeru wiersza dało wynik 73.55%. Dopasowanie według identyfikatora pytania dało wynik 100% dla 109,800 wierszy. Przy dopasowaniu według numeru wiersza 38,876 odpowiedzi przypisano do innego pytania. Spośród nich za 9,838 nadal przyznano punkty, ponieważ numery odpowiedzi były zgodne.

## Sprawdź, czy dwie opcje mają ten sam tekst

W 148 wierszach inna odpowiedź ma dokładnie taki sam tekst jak odpowiedź oznaczona. Skopiowaliśmy tekst oznaczonej odpowiedzi z każdego wiersza. Przypisanie pierwszej odpowiedzi o tym tekście spowodowało utratę 16 punktów. Przypisanie ostatniej spowodowało utratę 133 punktów. W tym sprawdzeniu porównano tekst dokładnie w takiej postaci, w jakiej zapisano go w oryginalnym pliku ZIP.

## Porównaj wyniki dla tych samych pytań

Usunięcie 148 wierszy z powtórzonym tekstem odpowiedzi tylko z plików, w których występują, pozostawia od 894 do 899 pytań w każdym pliku. Wiersze te obejmują 23 różnych identyfikatorów pytań. Usunięcie wszystkich 23 identyfikatorów z każdego pliku pozostawia w każdym z nich te same 877 pytań.

## Sprawdź, skąd pochodzą fragmenty

W pliku angielskim 513 pytań wskazuje na strony z oryginalnego zbioru rozwojowego FLORES-200. W przypadku 417 z tych pytań połączenie oryginalnych zdań FLORES we właściwej kolejności daje dokładnie taki sam fragment jak w Belebele. Liczba dokładnych dopasowań różni się między pozostałymi 116 plikami języków i systemów pisma wspólnymi dla obu archiwów.

Sprawdziliśmy też 45,279 wierszy Belebele, których adresy URL pochodzą ze zbioru `devtest` FLORES-200, we wszystkich 117 wspólnych plikach języków i systemów pisma, w tym w pliku angielskim. Dla każdego z 9 różnych identyfikatorów pytań fragment w co najmniej jednym pliku zawierał pełne zdanie ze zbioru rozwojowego. W tym sprawdzeniu porównywane są adresy URL źródeł oraz dokładny tekst w archiwach źródłowych. [Dokumentacja FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Oryginalne archiwum FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Sprawdź regułę najkrótszej odpowiedzi

Wybieranie zawsze najkrótszej odpowiedzi dało wynik 27.03% w całym teście Belebele. Reguła zlicza znaki po ujednoliceniu równoważnych znaków Unicode i białych znaków. Jeśli kilka opcji ma tę samą najmniejszą długość, reguła dzieli 1 punkt równo między nie i uwzględnia tylko część przypadającą na oznaczoną odpowiedź. Przy równomiernym losowaniu jednej z 4 opcji oczekiwany wynik wynosi 25%. Autorzy oryginalnego badania Belebele sprawdzili, czy podobieństwo słów i długość odpowiedzi mogą stanowić wskazówki. Podali też wynik 28% dla 900 pytań uzyskany przez model, który wykorzystywał słowa, ale nie ich kolejność. [Publikacja o Belebele, sekcja 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Dodatek A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Porównaj wyniki dla fragmentów

Użyliśmy tych samych 900 identyfikatorów pytań w języku angielskim i wietnamskim. Reguła wybiera opcję odpowiedzi, w której największy odsetek różnych słów występuje w pytaniu lub podanym fragmencie. Gdy nie ma fragmentu, uwzględnia tylko pytanie. W przypadku remisu 1 punkt jest dzielony równo między opcje. W każdym przebiegu z zamienionym fragmentem używany jest fragment z innej strony, a ta sama strona źródłowa służy do zamiany w obu językach.

| Język | Bez fragmentu | Pierwszy zamieniony fragment | Właściwy fragment | Zakres wyników dla 16 zamienionych fragmentów |
| --- | ---: | ---: | ---: | ---: |
| Angielski | 24.60% | 26.38% | 28.72% | od 24.60% do 27.89% |
| Wietnamski | 25.98% | 24.80% | 27.17% | od 23.58% do 27.84% |

Właściwy fragment dał wynik wyższy niż wszystkie 16 zamienionych fragmentów w języku angielskim i niż 15 z nich w języku wietnamskim. W porównaniu z brakiem fragmentu właściwy fragment zwiększył liczbę przyznanych punktów dla 311 pytań w języku angielskim i 313 w języku wietnamskim. Zmniejszył ją dla 218 pytań w języku angielskim i 234 w języku wietnamskim. [Kod dopasowujący słowa](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Wyniki zbiorcze](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Zmień język pytania

W angielskich i wietnamskich plikach rozwojowych MLQA 511 identyfikatorów pytań występuje we wszystkich 4 kombinacjach języka pytania i fragmentu. Dla tych identyfikatorów zmiana języka pytania z angielskiego na wietnamski przy zachowaniu angielskiego fragmentu pozostawia fragment i listę akceptowanych odpowiedzi bez żadnych zmian. Porównanie w takim układzie pozwala ocenić oba przebiegi względem tych samych angielskich odpowiedzi. [Publikacja o MLQA](https://aclanthology.org/2020.acl-main.653/) · [Układ plików MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Powtórz sprawdzenie dopasowania słów

Pobierz [oryginalne archiwum ZIP Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [skrypt dopasowujący słowa](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), jego [skrypt pomocniczy w Pythonie](https://sapien1.com/research/reading-benchmark-evidence/check.py) oraz [zapisane wyniki zbiorcze](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Umieść je w tym samym folderze. Skrypt weryfikuje sumę kontrolną archiwum i odczytuje pliki angielski i wietnamski. Podaje wyniki w jednostkach punktowych, przy czym 12 jednostek odpowiada 1 poprawnej odpowiedzi. Użyj Pythona 3.12, aby powtórzyć porównanie.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
