# Jak sprawdzić, czy model korzysta z fragmentu

Zadaj modelowi te same pytania dwukrotnie, raz z tekstem i raz bez niego. Zachowaj pytania, opcje i zasady punktacji. Porównaj wyniki, aby zobaczyć, ile pomógł tekst. W teście wielokrotnego wyboru sprawdź też same opcje. Reguła zawsze wybierająca najkrótszą odpowiedź uzyskała 27,03% na całym Belebele. Przy zgadywaniu z jednakową szansą oczekiwany wynik to 25%. [Długość odpowiedzi w Belebele](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## Zmieniaj tylko jeden element naraz

| Co dostaje model | Co porównać |
| --- | --- |
| Fragment, pytanie i opcje | Jak często odpowiada poprawnie z całością danych |
| Pytanie i opcje | Jak często odpowiada poprawnie bez fragmentu |
| Same opcje | Jak często odpowiada poprawnie na podstawie samych opcji |

Za każdym razem użyj tego samego modelu i ustawień. Policz, ile błędnych odpowiedzi staje się poprawnych po dodaniu tekstu i ile zmienia się na odwrót. Te liczby wyjaśniają małą zmianę wyniku, gdy próby zaliczają różne pytania. W teście z odpowiedziami pisemnymi porównaj pierwsze dwie próby bez opcji i oceń je według tych samych przyjętych odpowiedzi.

## Zobacz, dla których pytań wynik się zmienił

Załóżmy, że model w obu próbach odpowiada poprawnie na 70 ze 100 pytań. Po sparowaniu według identyfikatora 62 odpowiedzi są poprawne w obu próbach, a 22 błędne w obu. Dodanie tekstu zmienia osiem błędnych na poprawne i osiem poprawnych na błędne. Wynik to wciąż 70%, ale 16 pytań warto sprawdzić, by zobaczyć, gdzie tekst pomógł lub przeszkodził.

## Wypróbuj prostą regułę wspólnych słów

Autorzy Belebele szukali wskazówek we wspólnych słowach i długości odpowiedzi. Podali też wynik 28% na 900 pytaniach dla modelu uwzględniającego występujące słowa bez względu na ich kolejność. [Artykuł o Belebele, rozdział 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Aneks A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

Zastosowaliśmy jedną regułę do tych samych 900 pytań Belebele w wersji angielskiej i wietnamskiej. Próby były bez fragmentu, z właściwym fragmentem i z tekstem z innej strony. Dla każdej opcji liczymy, jaka część jej unikalnych słów pojawia się w pytaniu lub podanym tekście. Bez tekstu liczy się tylko pytanie. Wygrywa opcja z największym udziałem. Przy remisie na pierwszym miejscu dzielimy punkt po równo i liczymy tylko część przypadającą na oznaczoną poprawną opcję. Dla każdego pytania angielski i wietnamski tekst zastępczy pochodzą z tej samej innej strony, w swoich językach. [Kod](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Wyniki](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| Język | Bez fragmentu | Fragment z innej strony | Właściwy fragment |
| --- | ---: | ---: | ---: |
| Angielski | 24.60% | 26.38% | 28.72% |
| Wietnamski | 25.98% | 24.80% | 27.17% |

W pierwszym porównaniu właściwy tekst dał najwyższy wynik w obu językach. Wypróbowaliśmy jeszcze 15 sposobów podmiany. W 16 podmianach wyniki wyniosły od 24,60% do 27,89% po angielsku i od 23,58% do 27,84% po wietnamsku. Właściwy tekst pokonał wszystkie 16 podmian po angielsku i 15 po wietnamsku. Wypróbuj kilka podmian, by wniosek mniej zależał od wybranej strony. [Wyniki wszystkich podmian](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

Względem próby bez tekstu właściwy fragment zwiększył punktację w 311 pytaniach po angielsku i 313 po wietnamsku. Obniżył ją w 218 pytaniach po angielsku i 234 po wietnamsku. Porównując regułę z modelem, oceń je na tych samych pytaniach.

## Zachowaj pytania i zasady punktacji

Do odpowiedzi dołącz identyfikator pytania. 122 pliki Belebele dzielą 900 identyfikatorów, ale 52 mają inną kolejność niż plik angielski. Jeśli wykluczasz pytania z identycznym tekstem opcji, usuń te same identyfikatory we wszystkich próbach. Zapisz literę opcji, by można było odróżnić odpowiedzi o identycznym tekście. [Sprawdzenie kolejności pytań](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [Filtr pytań](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Sprawdź, co model mógł już widzieć

Poprawna odpowiedź bez fragmentu może wynikać z wcześniejszej wiedzy, wskazówek w pytaniu lub opcjach albo ze zgadywania. Jeśli model dostrojono na zbiorze deweloperskim FLORES-200, a chcesz go testować na Belebele, możesz wykluczyć pytania z tamtych adresów. Sprawdź również tekst. W oryginalnych plikach dziewięć pytań z innych adresów wciąż zawierało zdanie ze zbioru deweloperskiego w co najmniej jednym sprawdzonym języku lub piśmie. [Kontrola fragmentów Belebele](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## Zachowaj fragment przy zmianie języka pytania

Aby sprawdzić wpływ zmiany języka pytania, przeprowadź to porównanie osobno. W sprawdzonych angielskich i wietnamskich plikach MLQA 511 identyfikatorów pozwala zmienić język pytania, zachowując ten sam angielski tekst i dokładnie te same akceptowane odpowiedzi. Oceń obie próby według tych samych odpowiedzi angielskich. [Sparowane pytania MLQA](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
