Badania
Jak sprawdzić, czy model korzysta z fragmentu
Zadaj modelowi te same pytania dwukrotnie, raz z tekstem i raz bez niego. Zachowaj pytania, opcje i zasady punktacji. Porównaj wyniki, aby zobaczyć, ile pomógł tekst. W teście wielokrotnego wyboru sprawdź też same opcje. Reguła zawsze wybierająca najkrótszą odpowiedź uzyskała 27,03% na całym Belebele. Przy zgadywaniu z jednakową szansą oczekiwany wynik to 25%. Długość odpowiedzi w Belebele
Zmieniaj tylko jeden element naraz
| Co dostaje model | Co porównać |
|---|---|
| Fragment, pytanie i opcje | Jak często odpowiada poprawnie z całością danych |
| Pytanie i opcje | Jak często odpowiada poprawnie bez fragmentu |
| Same opcje | Jak często odpowiada poprawnie na podstawie samych opcji |
Za każdym razem użyj tego samego modelu i ustawień. Policz, ile błędnych odpowiedzi staje się poprawnych po dodaniu tekstu i ile zmienia się na odwrót. Te liczby wyjaśniają małą zmianę wyniku, gdy próby zaliczają różne pytania. W teście z odpowiedziami pisemnymi porównaj pierwsze dwie próby bez opcji i oceń je według tych samych przyjętych odpowiedzi.
Zobacz, dla których pytań wynik się zmienił
Załóżmy, że model w obu próbach odpowiada poprawnie na 70 ze 100 pytań. Po sparowaniu według identyfikatora 62 odpowiedzi są poprawne w obu próbach, a 22 błędne w obu. Dodanie tekstu zmienia osiem błędnych na poprawne i osiem poprawnych na błędne. Wynik to wciąż 70%, ale 16 pytań warto sprawdzić, by zobaczyć, gdzie tekst pomógł lub przeszkodził.
Wypróbuj prostą regułę wspólnych słów
Autorzy Belebele szukali wskazówek we wspólnych słowach i długości odpowiedzi. Podali też wynik 28% na 900 pytaniach dla modelu uwzględniającego występujące słowa bez względu na ich kolejność. Artykuł o Belebele, rozdział 3.2 · Aneks A.6
Zastosowaliśmy jedną regułę do tych samych 900 pytań Belebele w wersji angielskiej i wietnamskiej. Próby były bez fragmentu, z właściwym fragmentem i z tekstem z innej strony. Dla każdej opcji liczymy, jaka część jej unikalnych słów pojawia się w pytaniu lub podanym tekście. Bez tekstu liczy się tylko pytanie. Wygrywa opcja z największym udziałem. Przy remisie na pierwszym miejscu dzielimy punkt po równo i liczymy tylko część przypadającą na oznaczoną poprawną opcję. Dla każdego pytania angielski i wietnamski tekst zastępczy pochodzą z tej samej innej strony, w swoich językach. Kod · Wyniki
| Język | Bez fragmentu | Fragment z innej strony | Właściwy fragment |
|---|---|---|---|
| Angielski | 24.60% | 26.38% | 28.72% |
| Wietnamski | 25.98% | 24.80% | 27.17% |
W pierwszym porównaniu właściwy tekst dał najwyższy wynik w obu językach. Wypróbowaliśmy jeszcze 15 sposobów podmiany. W 16 podmianach wyniki wyniosły od 24,60% do 27,89% po angielsku i od 23,58% do 27,84% po wietnamsku. Właściwy tekst pokonał wszystkie 16 podmian po angielsku i 15 po wietnamsku. Wypróbuj kilka podmian, by wniosek mniej zależał od wybranej strony. Wyniki wszystkich podmian
Względem próby bez tekstu właściwy fragment zwiększył punktację w 311 pytaniach po angielsku i 313 po wietnamsku. Obniżył ją w 218 pytaniach po angielsku i 234 po wietnamsku. Porównując regułę z modelem, oceń je na tych samych pytaniach.
Zachowaj pytania i zasady punktacji
Do odpowiedzi dołącz identyfikator pytania. 122 pliki Belebele dzielą 900 identyfikatorów, ale 52 mają inną kolejność niż plik angielski. Jeśli wykluczasz pytania z identycznym tekstem opcji, usuń te same identyfikatory we wszystkich próbach. Zapisz literę opcji, by można było odróżnić odpowiedzi o identycznym tekście. Sprawdzenie kolejności pytań · Filtr pytań
Sprawdź, co model mógł już widzieć
Poprawna odpowiedź bez fragmentu może wynikać z wcześniejszej wiedzy, wskazówek w pytaniu lub opcjach albo ze zgadywania. Jeśli model dostrojono na zbiorze deweloperskim FLORES-200, a chcesz go testować na Belebele, możesz wykluczyć pytania z tamtych adresów. Sprawdź również tekst. W oryginalnych plikach dziewięć pytań z innych adresów wciąż zawierało zdanie ze zbioru deweloperskiego w co najmniej jednym sprawdzonym języku lub piśmie. Kontrola fragmentów Belebele
Zachowaj fragment przy zmianie języka pytania
Aby sprawdzić wpływ zmiany języka pytania, przeprowadź to porównanie osobno. W sprawdzonych angielskich i wietnamskich plikach MLQA 511 identyfikatorów pozwala zmienić język pytania, zachowując ten sam angielski tekst i dokładnie te same akceptowane odpowiedzi. Oceń obie próby według tych samych odpowiedzi angielskich. Sparowane pytania MLQA