Przejdź do treści głównej

Menu

Badania

Jak sprawdzić, czy model korzysta z fragmentu

Język: Polski

Zadaj modelowi te same pytania dwukrotnie, raz z tekstem i raz bez niego. Zachowaj pytania, opcje i zasady punktacji. Porównaj wyniki, aby zobaczyć, ile pomógł tekst. W teście wielokrotnego wyboru sprawdź też same opcje. Reguła zawsze wybierająca najkrótszą odpowiedź uzyskała 27,03% na całym Belebele. Przy zgadywaniu z jednakową szansą oczekiwany wynik to 25%. Długość odpowiedzi w Belebele

Zmieniaj tylko jeden element naraz

Co dostaje modelCo porównać
Fragment, pytanie i opcjeJak często odpowiada poprawnie z całością danych
Pytanie i opcjeJak często odpowiada poprawnie bez fragmentu
Same opcjeJak często odpowiada poprawnie na podstawie samych opcji

Za każdym razem użyj tego samego modelu i ustawień. Policz, ile błędnych odpowiedzi staje się poprawnych po dodaniu tekstu i ile zmienia się na odwrót. Te liczby wyjaśniają małą zmianę wyniku, gdy próby zaliczają różne pytania. W teście z odpowiedziami pisemnymi porównaj pierwsze dwie próby bez opcji i oceń je według tych samych przyjętych odpowiedzi.

Zobacz, dla których pytań wynik się zmienił

Załóżmy, że model w obu próbach odpowiada poprawnie na 70 ze 100 pytań. Po sparowaniu według identyfikatora 62 odpowiedzi są poprawne w obu próbach, a 22 błędne w obu. Dodanie tekstu zmienia osiem błędnych na poprawne i osiem poprawnych na błędne. Wynik to wciąż 70%, ale 16 pytań warto sprawdzić, by zobaczyć, gdzie tekst pomógł lub przeszkodził.

Wypróbuj prostą regułę wspólnych słów

Autorzy Belebele szukali wskazówek we wspólnych słowach i długości odpowiedzi. Podali też wynik 28% na 900 pytaniach dla modelu uwzględniającego występujące słowa bez względu na ich kolejność. Artykuł o Belebele, rozdział 3.2 · Aneks A.6

Zastosowaliśmy jedną regułę do tych samych 900 pytań Belebele w wersji angielskiej i wietnamskiej. Próby były bez fragmentu, z właściwym fragmentem i z tekstem z innej strony. Dla każdej opcji liczymy, jaka część jej unikalnych słów pojawia się w pytaniu lub podanym tekście. Bez tekstu liczy się tylko pytanie. Wygrywa opcja z największym udziałem. Przy remisie na pierwszym miejscu dzielimy punkt po równo i liczymy tylko część przypadającą na oznaczoną poprawną opcję. Dla każdego pytania angielski i wietnamski tekst zastępczy pochodzą z tej samej innej strony, w swoich językach. Kod · Wyniki

JęzykBez fragmentuFragment z innej stronyWłaściwy fragment
Angielski24.60%26.38%28.72%
Wietnamski25.98%24.80%27.17%

W pierwszym porównaniu właściwy tekst dał najwyższy wynik w obu językach. Wypróbowaliśmy jeszcze 15 sposobów podmiany. W 16 podmianach wyniki wyniosły od 24,60% do 27,89% po angielsku i od 23,58% do 27,84% po wietnamsku. Właściwy tekst pokonał wszystkie 16 podmian po angielsku i 15 po wietnamsku. Wypróbuj kilka podmian, by wniosek mniej zależał od wybranej strony. Wyniki wszystkich podmian

Względem próby bez tekstu właściwy fragment zwiększył punktację w 311 pytaniach po angielsku i 313 po wietnamsku. Obniżył ją w 218 pytaniach po angielsku i 234 po wietnamsku. Porównując regułę z modelem, oceń je na tych samych pytaniach.

Zachowaj pytania i zasady punktacji

Do odpowiedzi dołącz identyfikator pytania. 122 pliki Belebele dzielą 900 identyfikatorów, ale 52 mają inną kolejność niż plik angielski. Jeśli wykluczasz pytania z identycznym tekstem opcji, usuń te same identyfikatory we wszystkich próbach. Zapisz literę opcji, by można było odróżnić odpowiedzi o identycznym tekście. Sprawdzenie kolejności pytań · Filtr pytań

Sprawdź, co model mógł już widzieć

Poprawna odpowiedź bez fragmentu może wynikać z wcześniejszej wiedzy, wskazówek w pytaniu lub opcjach albo ze zgadywania. Jeśli model dostrojono na zbiorze deweloperskim FLORES-200, a chcesz go testować na Belebele, możesz wykluczyć pytania z tamtych adresów. Sprawdź również tekst. W oryginalnych plikach dziewięć pytań z innych adresów wciąż zawierało zdanie ze zbioru deweloperskiego w co najmniej jednym sprawdzonym języku lub piśmie. Kontrola fragmentów Belebele

Zachowaj fragment przy zmianie języka pytania

Aby sprawdzić wpływ zmiany języka pytania, przeprowadź to porównanie osobno. W sprawdzonych angielskich i wietnamskich plikach MLQA 511 identyfikatorów pozwala zmienić język pytania, zachowując ten sam angielski tekst i dokładnie te same akceptowane odpowiedzi. Oceń obie próby według tych samych odpowiedzi angielskich. Sparowane pytania MLQA