Gå til hovedinnholdet

Meny

Forskning

Slik sjekker du om en modell bruker teksten

Språk: Norsk bokmål

Still modellen samme spørsmål to ganger, én gang med teksten og én gang uten. Hold spørsmål, svaralternativer og poengregler like. Sammenlign poengsummene for å se hvor mye teksten hjalp. Ved flervalg kan du også teste med bare alternativene. Regelen om alltid å velge det korteste svaret ga 27,03 % på hele Belebele-testen. Med lik sannsynlighet for hvert alternativ ved gjetting er forventet poengsum 25 %. Sjekk av svarlengde i Belebele

Endre bare én opplysning om gangen

Hva modellen får seHva du sammenligner
Tekst, spørsmål og alternativerHvor ofte modellen svarer riktig med alt tilgjengelig
Spørsmål og alternativerHvor ofte den svarer riktig uten teksten
Bare alternativeneHvor ofte den svarer riktig ut fra alternativene alene

Bruk samme modell og innstillinger hver gang. Tell svar som går fra feil til riktig når du legger til teksten, og svar som går motsatt vei. Da ser du hvorfor poengsummen kan endres lite selv om kjøringene lykkes på ulike spørsmål. Ved skriftlige svar sammenligner du de to første kjøringene uten alternativer og bruker samme godkjente svar.

Se hvilke spørsmål som endret resultat

Tenk deg at modellen svarer riktig på 70 av 100 spørsmål i begge kjøringene. Når svarene kobles med spørsmåls-ID, er 62 riktige i begge og 22 feil i begge. Med teksten blir åtte feil riktige og åtte riktige feil. Poengsummen er fortsatt 70 %, men du kan se på 16 spørsmål for å finne ut hvor teksten hjalp eller gjorde det vanskeligere.

Prøv en enkel regel basert på felles ord

Forfatterne av Belebele lette etter ledetråder i ord som overlapper, og i svarlengden. De rapporterte også 28 % på 900 spørsmål for en modell som så på hvilke ord som forekom, uten hensyn til rekkefølgen. Belebele-artikkel, avsnitt 3.2 · Vedlegg A.6

Vi brukte en fast regel på de samme 900 Belebele-spørsmålene på engelsk og vietnamesisk. Vi prøvde uten tekst, med teksten som hører til, og med tekst fra en annen side. For hvert alternativ teller vi andelen forskjellige ord som også står i spørsmålet eller teksten. Uten tekst bruker vi bare spørsmålet. Alternativet med høyest andel velges. Deler flere alternativer førsteplassen, deler vi ett poeng likt og teller bare andelen til det markerte riktige svaret. For hvert spørsmål kommer erstatningstekstene på engelsk og vietnamesisk fra den samme andre siden, på hvert sitt språk. Kode · Resultater

SpråkUten tekstTekst fra en annen sideTeksten som hører til
Engelsk24.60%26.38%28.72%
Vietnamesisk25.98%24.80%27.17%

I første sammenligning ga teksten som hører til høyest poengsum på begge språk. Vi prøvde deretter 15 andre måter å bytte tekster på. På tvers av alle 16 bytter varierte poengsummen fra 24,60 % til 27,89 % på engelsk og fra 23,58 % til 27,84 % på vietnamesisk. Teksten som hører til slo alle 16 bytter på engelsk og 15 på vietnamesisk. Prøv flere erstatninger, så konklusjonen avhenger mindre av hvilken side du valgte. Resultater fra alle bytter

Sammenlignet med kjøringen uten tekst ga teksten som hører til flere poeng på 311 engelske og 313 vietnamesiske spørsmål. Den ga færre på 218 engelske og 234 vietnamesiske spørsmål. Hvis du sammenligner regelen med en modell, gi begge poeng på de samme spørsmålene.

Hold spørsmålene og poengreglene faste

Lagre spørsmåls-ID med hvert svar. De 122 Belebele-filene deler 900 ID-er, men 52 har en annen rekkefølge enn den engelske filen. Utelater du spørsmål med gjentatt svartekst, fjern de samme ID-ene fra alle kjøringene. Lagre bokstaven, så to alternativer med samme tekst kan skilles. Sjekk av spørsmålsrekkefølge · Spørsmålsfilter

Sjekk hva modellen kan ha sett før

Et riktig svar uten teksten kan skyldes forkunnskap, ledetråder i spørsmålet eller alternativene, eller gjetting. Har du brukt FLORES-200s utviklingssett til å justere en modell du nå vil teste på Belebele, kan du utelate spørsmål fra disse nettadressene. Sjekk også teksten. I de opprinnelige filene inneholdt ni spørsmål fra andre nettadresser fortsatt en setning fra utviklingssettet på minst ett språk eller skriftsystem som ble sjekket. Sjekk av Belebele-tekster

Behold teksten når du bytter språk i spørsmålet

Test dette separat hvis du vil se om et annet språk i spørsmålet endrer resultatet. I de engelske og vietnamesiske MLQA-filene vi sjekket, lar 511 ID-er deg bytte språk i spørsmålet og beholde nøyaktig samme engelske tekst og godkjente svar. Vurder begge kjøringene mot de samme engelske svarene. Matchede MLQA-spørsmål