Hoppa till huvudinnehållet

Meny

Forskning

Så väljer du ett flerspråkigt lästest

Språk: Svenska

Välj ett test där modellen får göra det som användarna behöver. Att hitta rätt textavsnitt, svara utifrån ett givet avsnitt och förstå en fråga på ett annat språk är olika färdigheter. Testa dem var för sig för att se vilket steg som behöver granskas närmare.

Vad vill du testa?Var kan du börja?Vad gör modellen?
Kan den hitta rätt del av en artikel?TyDiQA-SelectPVäljer ett avsnitt i en artikel eller anger att inget avsnitt besvarar frågan.
Kan den hitta orden som besvarar frågan?TyDiQA-GoldPHämtar orden som utgör svaret ur ett avsnitt där de finns.
Svarar den på samma frågor på flera språk?XQuAD eller BelebeleSvarar utifrån översatta textavsnitt i XQuAD eller väljer ett av fyra svar i Belebele.
Kan den svara när frågan och textavsnittet är på olika språk?MLQAHittar svaret i ett textavsnitt på ett annat språk.

Kontrollera om modellen hittar svaret

Använd TyDiQA-SelectP om modellen behöver hitta rätt avsnitt i en artikel. Använd TyDiQA-MinSpan om den också behöver ge ett kort svar, svara ja eller nej eller ange att artikeln saknar svar. Frågorna i TyDi QA skrevs direkt på respektive språk. Uppgiftsbeskrivningar för TyDi QA

Be samma modell svara skriftligt två gånger för att se hur mycket ett kortare avsnitt hjälper. Ge modellen hela artikeln ena gången och ett ordagrant utdrag ur samma artikel andra gången. Behåll inställningarna, frågan, svarsformatet, de godkända svaren och poängregeln. Kontrollera att varje godkänt svar finns i båda texterna. Om du använder en Gold Passage-post som den är, kontrollera utdraget och svarslistan. Filerna kan innehålla samma fråga även om textavsnittet eller de godkända svaren skiljer sig. Utvecklingsfilerna för TyDi QA kan hjälpa dig sätta upp jämförelsen. Alla 5 077 Gold Passage-frågor finns också i huvudmängden med 18 670 frågor. Gold Passage utelämnar japanska och thailändska samt 1 285 frågor med markerade skriftliga svar bland de nio gemensamma språken. Matcha efter språk, artikeltitel och frågans exakta ordalydelse. Använd bara entydiga par. Jämförelse av frågor i TyDi QA

Jämför språk med samma frågor

XQuAD ger modellen översättningar av samma frågor och textavsnitt. De 1 190 engelska frågorna kommer från utvecklingsmängden i SQuAD 1.1. De översatta filer vi kontrollerade delar fråge-ID:n. Om du har anpassat modellen med SQuAD:s utvecklingsmängd, kontrollera överlappningen innan du använder XQuAD som ett test med nya frågor. Originalartikeln om XQuAD · Kontroll av återanvända frågor

Använd Belebele när modellen ska välja ett av fyra svar. Dess 122 filer för olika språk och skriftsystem delar 900 fråge-ID:n. Spara numret eller bokstaven för alternativet som modellen valde. Två alternativ kan ha identisk text och då räcker det kanske inte att spara texten. Om du utesluter berörda frågor, använd samma återstående ID:n för alla språk du jämför. Jämför läsresultat mellan språk

Byt frågans språk och behåll texten

Använd MLQA om någon till exempel vill ställa frågor på vietnamesiska om ett engelskspråkigt dokument. I de engelska och vietnamesiska utvecklingsfilerna vi kontrollerade går det att ställa 511 gemensamma frågor på båda språken med exakt samma engelska textavsnitt och godkända svar. Bedöm båda försöken med samma engelska svar. Då ser du vad som ändras när du byter språk i frågan. Originalartikeln om MLQA · Jämförelse av engelska och vietnamesiska filer

För att kontrollera separat hur mycket textavsnittet hjälper, ställ samma frågor med och utan avsnittet. Kontrollera om en modell använder texten

Se om testet täcker språket du behöver

För thailändska kan du använda TyDiQA-SelectP för att testa om modellen hittar rätt avsnitt, XQuAD för att testa om den hittar svarens ord i ett givet avsnitt eller Belebele för att testa om den väljer rätt svar. Utvecklingsfilen för TyDiQA-GoldP har inga frågor på thailändska. Endast arabiska och engelska finns i alla fyra filuppsättningarna som vi jämförde: TyDi QA:s huvudmängd, TyDi QA Gold Passage, XQuAD och MLQA:s utvecklingsfiler med samma språk i fråga och avsnitt. Kontroll av språktäckningen · Belebele-filer per språk

Ange uppgift, språk och frågeantal för varje poäng du rapporterar. Båda officiella poängmetoderna för TyDi QA utelämnar till exempel engelska från det sammanlagda genomsnittet även om filerna innehåller engelska. Dokumentation av poängreglerna i TyDi QA