Dane pomocne w wyborze wielojęzycznego testu rozumienia tekstu
W tych analizach porównano pytania i języki w określonych wersjach zbiorów TyDi QA, XQuAD, MLQA i Belebele. Podane liczby dotyczą plików wykorzystanych w poradniku.
Które pytania występują w obu plikach TyDi QA?
Dopasowano pliki deweloperskie na podstawie języka, tytułu artykułu i dokładnego brzmienia pytania. Każdy z 5,077 wierszy zbioru Gold Passage odpowiadał jednemu z 18,670 wierszy zbioru primary. W 9 wspólnych językach plik Gold Passage pomija 1,285 wierszy zbioru primary, w których co najmniej jedna osoba anotująca wskazała odpowiedź pisemną. Plik deweloperski primary obejmuje język japoński i tajski, natomiast plik Gold Passage nie zawiera wierszy w tych dwóch językach.
Aby porównać cały artykuł z krótszym tekstem wejściowym, poproś ten sam model dwukrotnie o odpowiedź pisemną. Skopiuj krótszy fragment dokładnie z artykułu. Zachowaj te same ustawienia, pytanie, format odpowiedzi, akceptowane odpowiedzi i regułę oceniania. Sprawdź, czy każda akceptowana odpowiedź występuje w obu tekstach wejściowych. Jeśli korzystasz z Gold Passage w udostępnionej postaci, sprawdź fragment i listę odpowiedzi. Dopasowanie według pytań pozwala ustalić, które pytania występują w obu plikach. Tekst fragmentu i akceptowane odpowiedzi mogą się różnić.
W ocenach autorów zarówno dla zadania primary, jak i Gold Passage język angielski pominięto przy obliczaniu średniej ogólnej.
Liczby według języka (JSON) · Skrypt porównawczy (Python) · Plik deweloperski primary w ustalonej wersji · Plik deweloperski Gold Passage w ustalonej wersji · Oficjalne zasady oceniania
Zapisz dwa pliki źródłowe jako primary.parquet i gold.parquet. Zapisz skrypt i plik z wynikami w tym samym katalogu, a następnie uruchom porównanie. Skrypt sprawdza sumy kontrolne obu plików wejściowych przed ich odczytaniem.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Które pytania XQuAD pochodzą ze zbioru SQuAD?
Wszystkie 1,190 identyfikatorów w angielskiej wersji XQuAD odpowiadają pytaniom w pliku deweloperskim SQuAD 1.1. Dla tych identyfikatorów tytuł artykułu, fragment i treść pytania są dokładnie takie same. Wszystkie 12 plików w sprawdzonej wersji XQuAD mają te same identyfikatory, w tym plik rumuński dodany po pierwotnym wydaniu.
Liczby pytań i dopasowań (JSON) · Oryginalna publikacja o XQuAD · Ustalona wersja XQuAD · Plik deweloperski SQuAD w ustalonej wersji
Co pozostaje bez zmian, gdy zmienia się język pytania MLQA?
Cztery angielsko-wietnamskie pliki deweloperskie mają 511 wspólnych identyfikatorów pytań. Zmiana języka pytań z angielskiego na wietnamski przy zachowaniu angielskiego fragmentu zmieniła wszystkie 511 pytań, ale żaden fragment ani żadną listę akceptowanych odpowiedzi. W ramach sprawdzenia porównano każdy fragment i uporządkowaną listę akceptowanych odpowiedzi, w tym zapisane pozycje odpowiedzi w tekście. Użyj tych samych angielskich odpowiedzi do oceny obu uruchomień.
Wyniki porównania plików (JSON) · Oficjalne pliki MLQA do pobrania · Oryginalna publikacja o MLQA
Jakie języki obejmują cztery zestawy plików?
Sprawdzono pliki deweloperskie TyDi QA primary i Gold Passage, ustaloną wersję XQuAD oraz pliki deweloperskie MLQA, w których pytanie i fragment są w tym samym języku. Arabski i angielski to jedyne języki występujące we wszystkich czterech zestawach. Tajski występuje w TyDi QA primary i XQuAD, ale nie występuje w Gold Passage.
Kody języków według zestawu plików (JSON)
Gdzie znaleźć tajski test wielokrotnego wyboru?
Belebele zawiera plik w języku tajskim o nazwie tha_Thai.jsonl. Użyj go do pytań, w których model po przeczytaniu fragmentu wybiera jedną z czterech odpowiedzi.
Tajski plik autorów w ustalonej wersji · Oryginalna publikacja o Belebele · Jak porównywać wyniki testów rozumienia tekstu z pytaniami wielokrotnego wyboru między językami