Materiały źródłowe do poradników o testach czytania

Te analizy wykorzystują oryginalne archiwa Belebele i FLORES-200 oraz publiczne pliki rozwojowe MLQA. W Belebele każde pytanie ma 4 opcje odpowiedzi. Pliki dla 122 języków i systemów pisma w oryginalnym archiwum ZIP mają wspólny zestaw 900 identyfikatorów pytań. W tych plikach każdy identyfikator łączy adres URL źródła z numerem pytania. Publikacja o Belebele · Pobieranie i format Belebele

Dopasuj każdą odpowiedź do właściwego pytania

Skopiowaliśmy numery oznaczonych odpowiedzi z każdego pliku Belebele i ułożyliśmy je w kolejności pytań z pliku angielskiego. W 52 plikach pytania występują w innej kolejności niż w pliku angielskim. Dopasowanie skopiowanych odpowiedzi do każdego pliku według numeru wiersza dało wynik 73.55%. Dopasowanie według identyfikatora pytania dało wynik 100% dla 109,800 wierszy. Przy dopasowaniu według numeru wiersza 38,876 odpowiedzi przypisano do innego pytania. Spośród nich za 9,838 nadal przyznano punkty, ponieważ numery odpowiedzi były zgodne.

Sprawdź, czy dwie opcje mają ten sam tekst

W 148 wierszach inna odpowiedź ma dokładnie taki sam tekst jak odpowiedź oznaczona. Skopiowaliśmy tekst oznaczonej odpowiedzi z każdego wiersza. Przypisanie pierwszej odpowiedzi o tym tekście spowodowało utratę 16 punktów. Przypisanie ostatniej spowodowało utratę 133 punktów. W tym sprawdzeniu porównano tekst dokładnie w takiej postaci, w jakiej zapisano go w oryginalnym pliku ZIP.

Porównaj wyniki dla tych samych pytań

Usunięcie 148 wierszy z powtórzonym tekstem odpowiedzi tylko z plików, w których występują, pozostawia od 894 do 899 pytań w każdym pliku. Wiersze te obejmują 23 różnych identyfikatorów pytań. Usunięcie wszystkich 23 identyfikatorów z każdego pliku pozostawia w każdym z nich te same 877 pytań.

Sprawdź, skąd pochodzą fragmenty

W pliku angielskim 513 pytań wskazuje na strony z oryginalnego zbioru rozwojowego FLORES-200. W przypadku 417 z tych pytań połączenie oryginalnych zdań FLORES we właściwej kolejności daje dokładnie taki sam fragment jak w Belebele. Liczba dokładnych dopasowań różni się między pozostałymi 116 plikami języków i systemów pisma wspólnymi dla obu archiwów.

Sprawdziliśmy też 45,279 wierszy Belebele, których adresy URL pochodzą ze zbioru devtest FLORES-200, we wszystkich 117 wspólnych plikach języków i systemów pisma, w tym w pliku angielskim. Dla każdego z 9 różnych identyfikatorów pytań fragment w co najmniej jednym pliku zawierał pełne zdanie ze zbioru rozwojowego. W tym sprawdzeniu porównywane są adresy URL źródeł oraz dokładny tekst w archiwach źródłowych. Dokumentacja FLORES-200 · Oryginalne archiwum FLORES-200

Sprawdź regułę najkrótszej odpowiedzi

Wybieranie zawsze najkrótszej odpowiedzi dało wynik 27.03% w całym teście Belebele. Reguła zlicza znaki po ujednoliceniu równoważnych znaków Unicode i białych znaków. Jeśli kilka opcji ma tę samą najmniejszą długość, reguła dzieli 1 punkt równo między nie i uwzględnia tylko część przypadającą na oznaczoną odpowiedź. Przy równomiernym losowaniu jednej z 4 opcji oczekiwany wynik wynosi 25%. Autorzy oryginalnego badania Belebele sprawdzili, czy podobieństwo słów i długość odpowiedzi mogą stanowić wskazówki. Podali też wynik 28% dla 900 pytań uzyskany przez model, który wykorzystywał słowa, ale nie ich kolejność. Publikacja o Belebele, sekcja 3.2 · Dodatek A.6

Porównaj wyniki dla fragmentów

Użyliśmy tych samych 900 identyfikatorów pytań w języku angielskim i wietnamskim. Reguła wybiera opcję odpowiedzi, w której największy odsetek różnych słów występuje w pytaniu lub podanym fragmencie. Gdy nie ma fragmentu, uwzględnia tylko pytanie. W przypadku remisu 1 punkt jest dzielony równo między opcje. W każdym przebiegu z zamienionym fragmentem używany jest fragment z innej strony, a ta sama strona źródłowa służy do zamiany w obu językach.

Język Bez fragmentu Pierwszy zamieniony fragment Właściwy fragment Zakres wyników dla 16 zamienionych fragmentów
Angielski 24.60% 26.38% 28.72% od 24.60% do 27.89%
Wietnamski 25.98% 24.80% 27.17% od 23.58% do 27.84%

Właściwy fragment dał wynik wyższy niż wszystkie 16 zamienionych fragmentów w języku angielskim i niż 15 z nich w języku wietnamskim. W porównaniu z brakiem fragmentu właściwy fragment zwiększył liczbę przyznanych punktów dla 311 pytań w języku angielskim i 313 w języku wietnamskim. Zmniejszył ją dla 218 pytań w języku angielskim i 234 w języku wietnamskim. Kod dopasowujący słowa · Wyniki zbiorcze

Zmień język pytania

W angielskich i wietnamskich plikach rozwojowych MLQA 511 identyfikatorów pytań występuje we wszystkich 4 kombinacjach języka pytania i fragmentu. Dla tych identyfikatorów zmiana języka pytania z angielskiego na wietnamski przy zachowaniu angielskiego fragmentu pozostawia fragment i listę akceptowanych odpowiedzi bez żadnych zmian. Porównanie w takim układzie pozwala ocenić oba przebiegi względem tych samych angielskich odpowiedzi. Publikacja o MLQA · Układ plików MLQA

Powtórz sprawdzenie dopasowania słów

Pobierz oryginalne archiwum ZIP Belebele, skrypt dopasowujący słowa, jego skrypt pomocniczy w Pythonie oraz zapisane wyniki zbiorcze. Umieść je w tym samym folderze. Skrypt weryfikuje sumę kontrolną archiwum i odczytuje pliki angielski i wietnamski. Podaje wyniki w jednostkach punktowych, przy czym 12 jednostek odpowiada 1 poprawnej odpowiedzi. Użyj Pythona 3.12, aby powtórzyć porównanie.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json