Forskning
Slik velger du en flerspråklig leseprøve
Velg en prøve der modellen gjør det brukerne trenger. Å finne riktig tekstutdrag, svare ut fra et gitt utdrag og forstå et spørsmål på et annet språk er ulike ferdigheter. Test dem hver for seg for å se hvilket trinn du bør undersøke nærmere.
| Hva vil du sjekke? | Hvor kan du begynne? | Hva gjør modellen? |
|---|---|---|
| Kan den finne riktig del av en artikkel? | TyDiQA-SelectP | Velger et utdrag i én artikkel eller oppgir at ingen utdrag svarer på spørsmålet. |
| Kan den finne ordene som svarer på spørsmålet? | TyDiQA-GoldP | Henter svarordene fra et utdrag som inneholder dem. |
| Svarer den på de samme spørsmålene på flere språk? | XQuAD eller Belebele | Svarer ut fra oversatte utdrag i XQuAD eller velger ett av fire svar i Belebele. |
| Kan den svare når spørsmålet og utdraget er på ulike språk? | MLQA | Finner svaret i et utdrag skrevet på et annet språk. |
Sjekk om modellen kan finne svaret
Bruk TyDiQA-SelectP hvis modellen må finne riktig utdrag i en artikkel. Bruk TyDiQA-MinSpan hvis den også skal gi et kort svar, svare ja eller nei eller oppgi at artikkelen ikke har svaret. Spørsmålene i TyDi QA ble skrevet direkte på hvert språk. Oppgavebeskrivelser for TyDi QA
Be den samme modellen svare skriftlig to ganger for å se hvor mye et kortere utdrag hjelper. Gi den hele artikkelen første gang og et ordrett utdrag fra samme artikkel andre gang. Bruk samme innstillinger, spørsmål, svarformat og poengregel, og godkjenn de samme svarene. Sjekk at hvert godkjent svar finnes i begge tekstene. Hvis du bruker en Gold Passage-oppføring slik den er, må du sjekke utdraget og svarlisten. Filene kan ha samme spørsmål selv om utdraget eller de godkjente svarene er ulike. Bruk utviklingsfilene fra TyDi QA til å sette opp sammenligningen. Alle de 5 077 Gold Passage-spørsmålene finnes også i hovedsettet med 18 670 spørsmål. Gold Passage utelater japansk og thai samt 1 285 spørsmål med markerte skriftlige svar i de ni felles språkene. Koble spørsmål etter språk, artikkeltittel og nøyaktig ordlyd. Bruk bare entydige par. Sammenligning av TyDi QA-spørsmål
Bruk de samme spørsmålene når du sammenligner språk
XQuAD gir modellen oversettelser av de samme spørsmålene og tekstutdragene. De 1 190 engelske spørsmålene kommer fra utviklingssettet til SQuAD 1.1. De oversatte filene vi sjekket har de samme spørsmåls-ID-ene. Hvis du tilpasset modellen med utviklingssettet til SQuAD, sjekk for overlapp før du bruker XQuAD som en prøve med nye spørsmål. Den opprinnelige XQuAD-artikkelen · Sjekk av gjenbrukte spørsmål
Bruk Belebele når modellen skal velge ett av fire svar. De 122 filene for ulike språk og skriftsystemer deler 900 spørsmåls-ID-er. Lagre tallet eller bokstaven for svaret modellen valgte. To svaralternativer kan ha identisk tekst, slik at ordlyden alene kanskje ikke avslører valget. Hvis du utelater berørte spørsmål, bruk de samme gjenværende ID-ene på alle språk du sammenligner. Sammenlign leseresultater på tvers av språk
Bytt språk i spørsmålet og behold utdraget
Bruk MLQA hvis noen for eksempel stiller spørsmål på vietnamesisk om et engelsk dokument. I de engelske og vietnamesiske utviklingsfilene vi sjekket, kan du stille 511 felles spørsmål på begge språk og beholde nøyaktig samme engelske utdrag og godkjente svar. Vurder begge forsøk med de samme engelske svarene. Da ser du hva som endret seg da du byttet språk i spørsmålet. Den opprinnelige MLQA-artikkelen · Sammenligning av engelske og vietnamesiske filer
Still de samme spørsmålene med og uten utdraget for å sjekke separat hvor mye det hjelper. Sjekk om en modell bruker teksten
Sjekk om prøven dekker språket du trenger
For thai kan du bruke TyDiQA-SelectP for å se om modellen finner riktig utdrag, XQuAD for å se om den finner svarordene i et gitt utdrag, eller Belebele for å se om den velger riktig svar. Utviklingsfilen for TyDiQA-GoldP har ingen spørsmål på thai. Arabisk og engelsk er de eneste språkene i alle fire settene vi sammenlignet: TyDi QA-hovedsettet, TyDi QA Gold Passage, XQuAD og MLQA-utviklingsfilene med samme språk i spørsmål og utdrag. Sjekk av språkdekning · Språkfiler for Belebele
Når du oppgir poengsummer, ta med oppgaven, språkene og antallet spørsmål i hver poengsum. Begge offisielle poengmetoder for TyDi QA utelater for eksempel engelsk fra det samlede gjennomsnittet selv om engelsk finnes i filene. Dokumentasjon av poengreglene i TyDi QA