# Sådan vælger du en flersproget læsetest

Vælg en test, hvor modellen gør det, som brugerne har brug for. At finde den rette passage, svare ud fra en given passage og forstå et spørgsmål på et andet sprog er forskellige færdigheder. Test dem hver for sig for at se, hvilket trin der kræver mere opmærksomhed.

| Hvad vil du undersøge? | Hvor skal du begynde? | Hvad gør modellen? |
| --- | --- | --- |
| Kan den finde den rette del af en artikel? | TyDiQA-SelectP | Vælger en passage i én artikel eller angiver, at ingen passage besvarer spørgsmålet. |
| Kan den finde de ord, der besvarer spørgsmålet? | TyDiQA-GoldP | Giver svarordene fra en passage, der indeholder dem. |
| Besvarer den de samme spørgsmål på tværs af sprog? | XQuAD eller Belebele | Svarer ud fra oversatte passager i XQuAD eller vælger et af fire svar i Belebele. |
| Kan den svare, når spørgsmålet og passagen er på forskellige sprog? | MLQA | Finder svaret i en passage skrevet på et andet sprog. |

## Undersøg, om modellen kan finde svaret

Brug TyDiQA-SelectP, hvis modellen skal finde den rette passage i en artikel. Brug TyDiQA-MinSpan, hvis den også skal svare kort, svare ja eller nej eller angive, at artiklen ikke indeholder svaret. Spørgsmålene i TyDi QA blev skrevet direkte på hvert sprog. [Opgavebeskrivelser for TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

Bed den samme model om et skriftligt svar to gange for at se, hvor meget en kortere passage hjælper. Giv den hele artiklen den ene gang og et ordret uddrag fra samme artikel den anden. Behold de samme indstillinger, spørgsmål, svarformat, godkendte svar og scoringsregel. Kontrollér, at hvert godkendt svar står i begge tekster. Hvis du bruger en post fra Gold Passage, som den er, så tjek uddraget og svarlisten. Filerne kan indeholde samme spørgsmål, selv om passagen eller de godkendte svar er forskellige. Udviklingsfilerne fra TyDi QA kan hjælpe med sammenligningen. Alle 5.077 Gold Passage-spørgsmål findes også i hovedsættet med 18.670 spørgsmål. Gold Passage udelader japansk og thai samt 1.285 spørgsmål med markerede skriftlige svar på tværs af de ni fælles sprog. Match spørgsmål efter sprog, artikeltitel og nøjagtig ordlyd. Brug kun entydige par. [Sammenligning af spørgsmål i TyDi QA](https://sapien1.com/da/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## Brug samme spørgsmål, når du sammenligner sprog

XQuAD giver modellen oversættelser af de samme spørgsmål og passager. De 1.190 engelske spørgsmål kommer fra udviklingssættet i SQuAD 1.1. De oversatte filer, vi tjekkede, deler disse spørgsmåls-id’er. Hvis du brugte SQuADs udviklingssæt til at tilpasse modellen, så tjek for overlap, før du bruger XQuAD som test med nye spørgsmål. [Den oprindelige artikel om XQuAD](https://aclanthology.org/2020.acl-main.421/) · [Kontrol af genbrugte spørgsmål](https://sapien1.com/da/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

Brug Belebele, når modellen skal vælge et af fire svar. De 122 filer for sprog og skriftsystemer deler 900 spørgsmåls-id’er. Gem tallet eller bogstavet for det valgte svar. To svarmuligheder kan have samme tekst, og teksten alene viser derfor måske ikke, hvilken mulighed modellen valgte. Hvis du udelader berørte spørgsmål, skal du bruge samme resterende id’er på alle sprog, du sammenligner. [Sammenlign læsetestresultater på tværs af sprog](https://sapien1.com/da/research/cross-language-reading-scores)

## Skift spørgsmålets sprog, og behold passagen

Brug MLQA, hvis en bruger for eksempel spørger på vietnamesisk om et engelsk dokument. I de engelske og vietnamesiske udviklingsfiler, vi tjekkede, kan 511 fælles spørgsmål stilles på begge sprog med præcis samme engelske passage og godkendte svar. Bedøm begge forsøg efter de samme engelske svar. Så kan du se, hvad der ændres med spørgsmålets sprog. [Den oprindelige artikel om MLQA](https://aclanthology.org/2020.acl-main.653/) · [Sammenligning af engelske og vietnamesiske filer](https://sapien1.com/da/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

Stil de samme spørgsmål med og uden passagen for at undersøge dens betydning særskilt. [Undersøg, om en model bruger teksten](https://sapien1.com/da/research/does-the-model-use-the-passage)

## Se, om testen dækker det sprog, du har brug for

Brug til thai TyDiQA-SelectP for at se, om modellen finder den rette passage, XQuAD for at se, om den finder svarordene i en given passage, eller Belebele for at se, om den vælger det rigtige svar. Udviklingsfilen for TyDiQA-GoldP har ingen spørgsmål på thai. Kun arabisk og engelsk findes i alle fire sammenlignede sæt: TyDi QA-hovedsættet, TyDi QA Gold Passage, XQuAD og udviklingsfilerne fra MLQA med samme sprog i spørgsmål og passage. [Kontrol af sprogdækning](https://sapien1.com/da/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Belebele-sprogfiler](https://sapien1.com/da/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

Når du rapporterer en score, så angiv opgaven, sprogene og antallet af spørgsmål bag scoren. Begge officielle scoringsmetoder for TyDi QA udelader eksempelvis engelsk fra det samlede gennemsnit, selv om filerne indeholder engelsk. [Dokumentation for scoring i TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
