Badania
Jak wybrać wielojęzyczny test rozumienia tekstu
Wybierz test, który wymaga od modelu tego, czego potrzebują użytkownicy. Znalezienie właściwego fragmentu, udzielenie odpowiedzi na podstawie podanego tekstu i zrozumienie pytania w innym języku to osobne umiejętności. Sprawdź je oddzielnie, by ustalić, któremu etapowi warto się przyjrzeć.
| Co chcesz sprawdzić | Od czego zacząć | Co robi model |
|---|---|---|
| Czy znajduje właściwy fragment artykułu? | TyDiQA-SelectP | Wybiera fragment artykułu lub wskazuje, że żaden fragment nie odpowiada na pytanie. |
| Czy znajduje słowa, które odpowiadają na pytanie? | TyDiQA-GoldP | Zwraca słowa odpowiedzi z fragmentu, który je zawiera. |
| Czy odpowiada na te same pytania w różnych językach? | XQuAD lub Belebele | Odpowiada na podstawie tłumaczonych fragmentów w XQuAD lub wybiera jedną z czterech odpowiedzi w Belebele. |
| Czy odpowiada, gdy pytanie i fragment są w różnych językach? | MLQA | Znajduje odpowiedź we fragmencie napisanym w innym języku. |
Sprawdź, czy model znajduje odpowiedź
Użyj TyDiQA-SelectP, jeśli model ma znaleźć właściwy fragment artykułu. Użyj TyDiQA-MinSpan, jeśli ma także udzielić krótkiej odpowiedzi, odpowiedzieć tak lub nie albo wskazać, że artykuł nie zawiera odpowiedzi. Pytania TyDi QA powstały bezpośrednio w każdym z języków. Opisy zadań TyDi QA
Żeby sprawdzić, jak bardzo pomaga krótszy fragment, poproś ten sam model dwa razy o pisemną odpowiedź. Raz podaj cały artykuł, a raz fragment skopiowany z niego słowo w słowo. Zachowaj te same ustawienia, pytanie, format odpowiedzi, akceptowane odpowiedzi i regułę punktacji. Sprawdź, czy każda akceptowana odpowiedź występuje w obu tekstach. Jeśli używasz pozycji Gold Passage w oryginalnej formie, sprawdź fragment i listę odpowiedzi. Pliki mogą zawierać to samo pytanie, choć fragment lub akceptowane odpowiedzi się różnią. Pliki deweloperskie TyDi QA pomogą przygotować porównanie. Wszystkie 5 077 pytań Gold Passage występuje też w głównym zbiorze 18 670 pytań. Gold Passage pomija japoński i tajski oraz 1 285 pytań z oznaczonymi odpowiedziami pisemnymi w dziewięciu wspólnych językach. Dopasuj pytania według języka, tytułu artykułu i dokładnego brzmienia. Używaj tylko jednoznacznie dopasowanych par. Porównanie pytań TyDi QA
Porównuj języki na tych samych pytaniach
XQuAD podaje modelowi tłumaczenia tych samych pytań i fragmentów. Zestaw 1 190 pytań po angielsku pochodzi ze zbioru deweloperskiego SQuAD 1.1. Sprawdzone pliki z tłumaczeniami mają te same identyfikatory pytań. Jeśli użyto zbioru deweloperskiego SQuAD do dostrojenia modelu, sprawdź, które pytania się pokrywają, zanim użyjesz XQuAD jako testu na nowych pytaniach. Oryginalna publikacja o XQuAD · Sprawdzenie ponownie użytych pytań
Użyj Belebele, gdy model ma wybrać jedną z czterech odpowiedzi. Jego 122 pliki dla różnych języków i systemów pisma mają wspólne 900 identyfikatorów pytań. Zapisz numer lub literę wybranej opcji. Dwie opcje mogą mieć identyczny tekst, więc sam tekst może nie wystarczyć do ustalenia wyboru. Jeśli wyłączysz takie pytania, użyj tych samych pozostałych identyfikatorów we wszystkich porównywanych językach. Porównaj wyniki czytania w różnych językach
Zmień język pytania i zachowaj fragment
Użyj MLQA, jeśli na przykład osoba mówiąca po wietnamsku może pytać o dokument po angielsku. W sprawdzonych angielskich i wietnamskich plikach deweloperskich można zadać 511 wspólnych pytań w obu językach, zachowując dokładnie ten sam angielski fragment i akceptowane odpowiedzi. Oceń obie próby według tych samych angielskich odpowiedzi. W ten sposób sprawdzisz, co zmieniła zmiana języka pytania. Oryginalna publikacja o MLQA · Porównanie plików angielskich i wietnamskich
Żeby osobno sprawdzić, na ile pomaga fragment, zadaj te same pytania raz z fragmentem i raz bez niego. Sprawdź, czy model korzysta z fragmentu
Sprawdź, czy test obejmuje potrzebny język
W przypadku tajskiego użyj TyDiQA-SelectP, by sprawdzić, czy model znajdzie właściwy fragment, XQuAD, by sprawdzić, czy znajdzie słowa odpowiedzi w podanym fragmencie, albo Belebele, by sprawdzić, czy wybierze poprawną odpowiedź. Plik deweloperski TyDiQA-GoldP nie zawiera pytań po tajsku. Jedynie arabski i angielski występują we wszystkich czterech porównywanych zestawach: głównym TyDi QA, TyDi QA Gold Passage, XQuAD i plikach deweloperskich MLQA z pytaniem i fragmentem w tym samym języku. Sprawdzenie dostępnych języków · Pliki językowe Belebele
Podając wyniki, wskaż zadanie, języki oraz liczbę pytań uwzględnioną w każdym wyniku. Na przykład obie oficjalne metody punktacji TyDi QA pomijają angielski w średniej ogólnej, mimo że pliki go zawierają. Dokumentacja punktacji TyDi QA