Onderzoek
Zo kies je een meertalige leestoets
Kies een toets die het model laat doen wat gebruikers nodig hebben. De juiste passage vinden, antwoorden op basis van een gegeven passage en een vraag in een andere taal begrijpen zijn aparte vaardigheden. Test ze afzonderlijk om te zien welke stap aandacht nodig heeft.
| Wat wil je controleren? | Waar begin je? | Wat doet het model? |
|---|---|---|
| Kan het de juiste plek in een artikel vinden? | TyDiQA-SelectP | Kiest een passage uit één artikel of geeft aan dat geen passage de vraag beantwoordt. |
| Kan het de woorden vinden die de vraag beantwoorden? | TyDiQA-GoldP | Geeft de woorden van het antwoord terug uit een passage waarin ze staan. |
| Beantwoordt het dezelfde vragen in meerdere talen? | XQuAD of Belebele | Antwoordt op basis van vertaalde passages in XQuAD of kiest uit vier antwoorden in Belebele. |
| Kan het antwoorden als de vraag en de passage in verschillende talen zijn? | MLQA | Vindt het antwoord in een passage in een andere taal. |
Controleer of het model het antwoord kan vinden
Gebruik TyDiQA-SelectP als het model de juiste passage in een artikel moet vinden. Gebruik TyDiQA-MinSpan als het ook een kort antwoord moet geven, ja of nee moet antwoorden, of moet aangeven dat het antwoord niet in het artikel staat. De vragen van TyDi QA zijn rechtstreeks in elke taal geschreven. Taakbeschrijvingen van TyDi QA
Vraag hetzelfde model twee keer om een geschreven antwoord om te zien hoeveel een kortere passage helpt. Geef het één keer het hele artikel en één keer een letterlijk overgenomen passage uit dat artikel. Houd de instellingen, de vraag, het antwoordformaat, de geaccepteerde antwoorden en de scoreregel gelijk. Controleer of elk geaccepteerd antwoord in beide teksten voorkomt. Controleer de passage en de antwoordenlijst als je een Gold Passage-item ongewijzigd gebruikt. De bestanden kunnen dezelfde vraag bevatten terwijl de passage of de geaccepteerde antwoorden verschillen. De ontwikkelbestanden van TyDi QA helpen bij deze vergelijking. Alle 5.077 Gold Passage-vragen staan ook in de primaire set van 18.670 vragen. Gold Passage bevat geen Japans of Thai en laat 1.285 vragen met gemarkeerde geschreven antwoorden weg in de negen gedeelde talen. Koppel de vragen op taal, artikeltitel en exacte formulering. Gebruik alleen unieke koppelingen. Vergelijking van TyDi QA-vragen
Gebruik dezelfde vragen als je talen vergelijkt
XQuAD geeft het model vertalingen van dezelfde vragen en passages. De 1.190 Engelse vragen komen uit de ontwikkelset van SQuAD 1.1. De gecontroleerde vertaalde bestanden delen die vraag-ID’s. Heb je het model afgestemd met de ontwikkelset van SQuAD? Controleer dan op overlap voordat je XQuAD als toets met nieuwe vragen gebruikt. Oorspronkelijk XQuAD-artikel · Controle op hergebruikte vragen
Gebruik Belebele als het model één van vier antwoorden moet kiezen. De 122 bestanden voor talen en schriften delen 900 vraag-ID’s. Bewaar het nummer of de letter van de gekozen optie. Twee opties kunnen dezelfde tekst hebben, waardoor de tekst alleen mogelijk niet duidelijk maakt wat het model koos. Als je zulke vragen uitsluit, gebruik dan in alle vergeleken talen dezelfde resterende ID’s. Leesscores vergelijken tussen talen
Wijzig de taal van de vraag en houd de passage gelijk
Gebruik MLQA als iemand bijvoorbeeld in het Vietnamees een vraag stelt over een Engelstalig document. In de gecontroleerde Engelse en Vietnamese ontwikkelbestanden kun je 511 gedeelde vragen in beide talen stellen met exact dezelfde Engelse passage en geaccepteerde antwoorden. Beoordeel beide tests met dezelfde Engelse antwoorden. Zo zie je wat verandert als je de vraagtaal wijzigt. Oorspronkelijk MLQA-artikel · Vergelijking van Engelse en Vietnamese bestanden
Wil je apart nagaan hoeveel de passage helpt? Stel dezelfde vragen met en zonder de passage. Controleren of een model de passage gebruikt
Controleer of de toets de taal bevat die je nodig hebt
Gebruik voor Thai TyDiQA-SelectP om te zien of het model de juiste passage vindt, XQuAD om te zien of het de antwoordwoorden in een gegeven passage vindt, of Belebele om te zien of het het juiste antwoord kiest. Het ontwikkelbestand van TyDiQA-GoldP heeft geen Thaise vragen. Alleen Arabisch en Engels staan in alle vier vergeleken bestandssets: de primaire TyDi QA-set, TyDi QA Gold Passage, XQuAD en de MLQA-ontwikkelbestanden met vraag en passage in dezelfde taal. Taaldekking controleren · Taalbestanden van Belebele
Noem bij elke score de taak, de talen en het aantal gebruikte vragen. Beide officiële scorers van TyDi QA laten Engels bijvoorbeeld buiten het totaalgemiddelde, terwijl de bestanden wel Engels bevatten. Scoredocumentatie van TyDi QA