Cercetare
Cum alegi un test de înțelegere a textului în mai multe limbi
Alege un test care îi cere modelului să facă ce au nevoie utilizatorii. Găsirea fragmentului potrivit, răspunsul pe baza unui fragment dat și înțelegerea întrebării în altă limbă sunt abilități diferite. Testează-le separat, ca să vezi ce pas merită verificat mai atent.
| Ce vrei să verifici | De unde începi | Ce face modelul |
|---|---|---|
| Găsește partea potrivită dintr-un articol? | TyDiQA-SelectP | Alege un fragment dintr-un articol sau arată că niciunul nu răspunde la întrebare. |
| Găsește cuvintele care răspund la întrebare? | TyDiQA-GoldP | Returnează cuvintele răspunsului dintr-un fragment care le conține. |
| Răspunde la aceleași întrebări în mai multe limbi? | XQuAD sau Belebele | Răspunde pe baza fragmentelor traduse în XQuAD sau alege unul din patru răspunsuri în Belebele. |
| Poate răspunde când întrebarea și fragmentul sunt în limbi diferite? | MLQA | Găsește răspunsul într-un fragment scris în altă limbă. |
Verifică dacă modelul găsește răspunsul
Folosește TyDiQA-SelectP dacă modelul trebuie să găsească fragmentul potrivit într-un articol. Folosește TyDiQA-MinSpan dacă trebuie și să dea un răspuns scurt, să răspundă cu da sau nu ori să indice că articolul nu conține răspunsul. Întrebările TyDi QA au fost scrise direct în fiecare limbă. Descrierea sarcinilor TyDi QA
Ca să vezi cât ajută un fragment mai scurt, cere-i aceluiași model un răspuns scris de două ori. O dată, dă-i articolul întreg. Apoi dă-i un fragment copiat întocmai din același articol. Păstrează setările, întrebarea, formatul răspunsului, răspunsurile acceptate și regula de notare. Verifică dacă fiecare răspuns acceptat apare în ambele texte. Dacă folosești o intrare Gold Passage în forma publicată, verifică fragmentul și lista de răspunsuri. Fișierele pot avea o întrebare în comun chiar dacă fragmentul sau răspunsurile acceptate diferă. Fișierele de dezvoltare TyDi QA te ajută să pregătești comparația. Toate cele 5.077 de întrebări Gold Passage apar și în setul principal cu 18.670 de întrebări. Gold Passage nu include japoneza sau thailandeza și omite 1.285 de întrebări cu răspunsuri scrise marcate în cele nouă limbi comune. Potrivește întrebările după limbă, titlul articolului și formularea exactă. Folosește doar perechile cu o singură potrivire. Compararea întrebărilor TyDi QA
Folosește aceleași întrebări când compari limbile
XQuAD oferă modelului traduceri ale acelorași întrebări și fragmente. Cele 1.190 de întrebări în engleză provin din setul de dezvoltare SQuAD 1.1. Fișierele traduse pe care le-am verificat au aceleași ID-uri. Dacă ai ajustat modelul cu setul de dezvoltare SQuAD, verifică ce întrebări se suprapun înainte să folosești XQuAD ca test cu întrebări noi. Articolul original despre XQuAD · Verificarea întrebărilor refolosite
Folosește Belebele când modelul trebuie să aleagă unul din patru răspunsuri. Cele 122 de fișiere pentru limbi și sisteme de scriere au 900 de ID-uri de întrebare în comun. Salvează numărul sau litera variantei alese. Două variante pot avea același text, iar textul singur poate lăsa neclară alegerea. Dacă excluzi asemenea întrebări, folosește aceleași ID-uri rămase în toate limbile comparate. Compară scorurile de lectură între limbi
Schimbă limba întrebării și păstrează fragmentul
Folosește MLQA dacă, de exemplu, cineva care vorbește vietnameza poate întreba despre un document în engleză. În fișierele de dezvoltare în engleză și vietnameză pe care le-am verificat, poți pune 511 întrebări comune în oricare dintre limbi, păstrând întocmai fragmentul în engleză și răspunsurile acceptate. Notează ambele încercări cu aceleași răspunsuri în engleză. Așa vezi ce se schimbă când schimbi limba întrebării. Articolul original despre MLQA · Compararea fișierelor în engleză și vietnameză
Pentru a verifica separat cât ajută fragmentul, pune aceleași întrebări cu și fără el. Verifică dacă un model folosește fragmentul
Verifică dacă testul acoperă limba de care ai nevoie
Pentru thailandeză, folosește TyDiQA-SelectP dacă vrei să verifici dacă modelul găsește fragmentul potrivit, XQuAD dacă vrei să vezi dacă găsește cuvintele răspunsului într-un text dat sau Belebele dacă vrei să vezi dacă alege răspunsul corect. Fișierul de dezvoltare TyDiQA-GoldP nu are întrebări în thailandeză. Araba și engleza sunt singurele limbi prezente în toate cele patru seturi comparate: TyDi QA principal, TyDi QA Gold Passage, XQuAD și fișierele de dezvoltare MLQA cu întrebarea și fragmentul în aceeași limbă. Verificarea limbilor acoperite · Fișierele Belebele pe limbi
Când raportezi scoruri, precizează sarcina, limbile și câte întrebări intră în fiecare scor. De exemplu, ambele metode oficiale de notare TyDi QA exclud engleza din media generală, chiar dacă aceasta apare în fișiere. Documentația de notare TyDi QA