# Slik sjekker du om en modell bruker teksten

Still modellen samme spørsmål to ganger, én gang med teksten og én gang uten. Hold spørsmål, svaralternativer og poengregler like. Sammenlign poengsummene for å se hvor mye teksten hjalp. Ved flervalg kan du også teste med bare alternativene. Regelen om alltid å velge det korteste svaret ga 27,03 % på hele Belebele-testen. Med lik sannsynlighet for hvert alternativ ved gjetting er forventet poengsum 25 %. [Sjekk av svarlengde i Belebele](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## Endre bare én opplysning om gangen

| Hva modellen får se | Hva du sammenligner |
| --- | --- |
| Tekst, spørsmål og alternativer | Hvor ofte modellen svarer riktig med alt tilgjengelig |
| Spørsmål og alternativer | Hvor ofte den svarer riktig uten teksten |
| Bare alternativene | Hvor ofte den svarer riktig ut fra alternativene alene |

Bruk samme modell og innstillinger hver gang. Tell svar som går fra feil til riktig når du legger til teksten, og svar som går motsatt vei. Da ser du hvorfor poengsummen kan endres lite selv om kjøringene lykkes på ulike spørsmål. Ved skriftlige svar sammenligner du de to første kjøringene uten alternativer og bruker samme godkjente svar.

## Se hvilke spørsmål som endret resultat

Tenk deg at modellen svarer riktig på 70 av 100 spørsmål i begge kjøringene. Når svarene kobles med spørsmåls-ID, er 62 riktige i begge og 22 feil i begge. Med teksten blir åtte feil riktige og åtte riktige feil. Poengsummen er fortsatt 70 %, men du kan se på 16 spørsmål for å finne ut hvor teksten hjalp eller gjorde det vanskeligere.

## Prøv en enkel regel basert på felles ord

Forfatterne av Belebele lette etter ledetråder i ord som overlapper, og i svarlengden. De rapporterte også 28 % på 900 spørsmål for en modell som så på hvilke ord som forekom, uten hensyn til rekkefølgen. [Belebele-artikkel, avsnitt 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Vedlegg A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

Vi brukte en fast regel på de samme 900 Belebele-spørsmålene på engelsk og vietnamesisk. Vi prøvde uten tekst, med teksten som hører til, og med tekst fra en annen side. For hvert alternativ teller vi andelen forskjellige ord som også står i spørsmålet eller teksten. Uten tekst bruker vi bare spørsmålet. Alternativet med høyest andel velges. Deler flere alternativer førsteplassen, deler vi ett poeng likt og teller bare andelen til det markerte riktige svaret. For hvert spørsmål kommer erstatningstekstene på engelsk og vietnamesisk fra den samme andre siden, på hvert sitt språk. [Kode](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Resultater](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| Språk | Uten tekst | Tekst fra en annen side | Teksten som hører til |
| --- | ---: | ---: | ---: |
| Engelsk | 24.60% | 26.38% | 28.72% |
| Vietnamesisk | 25.98% | 24.80% | 27.17% |

I første sammenligning ga teksten som hører til høyest poengsum på begge språk. Vi prøvde deretter 15 andre måter å bytte tekster på. På tvers av alle 16 bytter varierte poengsummen fra 24,60 % til 27,89 % på engelsk og fra 23,58 % til 27,84 % på vietnamesisk. Teksten som hører til slo alle 16 bytter på engelsk og 15 på vietnamesisk. Prøv flere erstatninger, så konklusjonen avhenger mindre av hvilken side du valgte. [Resultater fra alle bytter](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

Sammenlignet med kjøringen uten tekst ga teksten som hører til flere poeng på 311 engelske og 313 vietnamesiske spørsmål. Den ga færre på 218 engelske og 234 vietnamesiske spørsmål. Hvis du sammenligner regelen med en modell, gi begge poeng på de samme spørsmålene.

## Hold spørsmålene og poengreglene faste

Lagre spørsmåls-ID med hvert svar. De 122 Belebele-filene deler 900 ID-er, men 52 har en annen rekkefølge enn den engelske filen. Utelater du spørsmål med gjentatt svartekst, fjern de samme ID-ene fra alle kjøringene. Lagre bokstaven, så to alternativer med samme tekst kan skilles. [Sjekk av spørsmålsrekkefølge](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [Spørsmålsfilter](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Sjekk hva modellen kan ha sett før

Et riktig svar uten teksten kan skyldes forkunnskap, ledetråder i spørsmålet eller alternativene, eller gjetting. Har du brukt FLORES-200s utviklingssett til å justere en modell du nå vil teste på Belebele, kan du utelate spørsmål fra disse nettadressene. Sjekk også teksten. I de opprinnelige filene inneholdt ni spørsmål fra andre nettadresser fortsatt en setning fra utviklingssettet på minst ett språk eller skriftsystem som ble sjekket. [Sjekk av Belebele-tekster](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## Behold teksten når du bytter språk i spørsmålet

Test dette separat hvis du vil se om et annet språk i spørsmålet endrer resultatet. I de engelske og vietnamesiske MLQA-filene vi sjekket, lar 511 ID-er deg bytte språk i spørsmålet og beholde nøyaktig samme engelske tekst og godkjente svar. Vurder begge kjøringene mot de samme engelske svarene. [Matchede MLQA-spørsmål](https://sapien1.com/nb/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
