# Så kontrollerar du om en modell använder texten

Ställ samma frågor till modellen två gånger, en gång med texten och en utan. Behåll samma frågor, alternativ och poängregler. Jämför resultaten för att se hur mycket texten hjälpte på de frågorna. För flerval testar du också med enbart alternativen. Regeln att alltid välja det kortaste svaret fick 27,03 % på hela Belebele-testet. Om alla alternativ har samma chans vid gissning är den förväntade poängen 25 %. [Kontroll av svarslängd i Belebele](https://sapien1.com/sv/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## Ändra en del av underlaget i taget

| Vad modellen får se | Vad du jämför |
| --- | --- |
| Text, fråga och alternativ | Hur ofta modellen svarar rätt med allt underlag |
| Fråga och alternativ | Hur ofta den svarar rätt utan texten |
| Enbart alternativen | Hur ofta den svarar rätt enbart utifrån alternativen |

Använd samma modell och inställningar varje gång. Räkna hur ofta texten får svaret att gå från fel till rätt och hur ofta det går åt andra hållet. Det förklarar varför poängen kan ändras lite trots att körningarna klarar olika frågor. För fritextsvar kan du jämföra de första två körningarna utan alternativ och använda samma godkända svar.

## Se vilka frågor som fick ändrade resultat

Anta att modellen svarar rätt på 70 av 100 frågor i båda körningarna. Efter matchning på fråge-ID är 62 rätt i båda och 22 fel i båda. Texten gör åtta felaktiga svar rätt och åtta korrekta svar fel. Poängen är fortfarande 70 %, men du har 16 frågor att undersöka för att se var texten hjälpte eller stjälpte.

## Prova en enkel regel för gemensamma ord

Belebele-författarna letade efter ledtrådar i gemensamma ord och svarslängd. De rapporterade också 28 % på 900 frågor för en modell som såg vilka ord som förekom oavsett ordningen. [Belebele-artikeln, avsnitt 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Bilaga A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

Vi använde en fast regel på samma 900 Belebele-frågor på engelska och vietnamesiska. Vi testade utan text, med den tillhörande texten och med text från en annan sida. För varje alternativ räknar vi andelen unika ord som också finns i frågan eller den text som modellen får. Utan text används bara frågan. Regeln väljer svarsalternativet med högst andel. Om flera alternativ delar förstaplatsen delar vi en poäng lika och räknar bara poängandelen för det svarsalternativ som markerats som rätt. För varje fråga kommer ersättningstexterna på engelska och vietnamesiska från samma andra sida, på respektive språk. [Kod](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Resultat](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| Språk | Utan text | Text från en annan sida | Tillhörande text |
| --- | ---: | ---: | ---: |
| Engelska | 24.60% | 26.38% | 28.72% |
| Vietnamesiska | 25.98% | 24.80% | 27.17% |

I första jämförelsen gav den tillhörande texten högst poäng på båda språken. Vi prövade sedan 15 andra sätt att byta text. Över alla 16 byten låg poängen mellan 24,60 % och 27,89 % på engelska och mellan 23,58 % och 27,84 % på vietnamesiska. Den tillhörande texten slog alla 16 byten på engelska och 15 på vietnamesiska. Prova flera ersättningar så att slutsatsen blir mindre beroende av vilken sida du valt. [Resultat av alla byten](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

Jämfört med körningen utan text gav den tillhörande texten fler poäng på 311 frågor på engelska och 313 på vietnamesiska. Den gav färre på 218 frågor på engelska och 234 på vietnamesiska. Om du jämför regeln med en modell, ge båda poäng på samma frågor.

## Behåll frågorna och poängreglerna

Spara fråge-ID:t till varje svar. De 122 Belebele-filerna delar 900 fråge-ID:n, men 52 har en annan ordning än den engelska filen. Om du tar bort frågor med upprepad svarstext ska samma ID:n försvinna ur varje körning du jämför. Spara svarsbokstaven för att kunna skilja alternativ med samma text åt. [Kontroll av frågeordningen](https://sapien1.com/sv/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [Frågefilter](https://sapien1.com/sv/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Kolla vad modellen kan ha sett tidigare

Ett rätt svar utan text kan bygga på förkunskaper, ledtrådar i frågan eller alternativen, eller en gissning. Om du anpassade modellen med utvecklingsdelen av FLORES-200 och nu vill testa på Belebele kan du utesluta frågor från de webbadresserna. Kontrollera också texten. I originalfilerna innehöll nio frågor från andra webbadresser fortfarande en utvecklingsmening på minst ett språk eller skriftsystem som vi kontrollerade. [Kontroll av Belebele-texter](https://sapien1.com/sv/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## Behåll texten när du byter språk i frågan

Jämför detta separat om du vill veta om ett språkbyte i frågan ändrar resultatet. I de engelska och vietnamesiska MLQA-filer vi kontrollerade kan 511 fråge-ID:n användas för att byta språk i frågan och behålla exakt samma engelska text och godkända svar. Bedöm båda körningarna mot samma engelska svar. [Matchade MLQA-frågor](https://sapien1.com/sv/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
