# Underlag till guiderna om läsförståelsetestet

Kontrollerna använder originalarkiven för Belebele och FLORES-200 samt de offentliga utvecklingsfilerna för MLQA. Varje fråga i Belebele har 4 svarsalternativ. De 122 språk- och skriftfilerna i den ursprungliga ZIP-filen har samma 900 fråge-ID:n. I dessa filer kopplar varje ID en käll-URL till ett frågenummer. [Forskningsartikeln om Belebele](https://aclanthology.org/2024.acl-long.44/) · [Ladda ner Belebele och läs om formatet](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Koppla varje svar till rätt fråga

Vi kopierade de markerade svarsnumren från varje Belebele-fil och ordnade dem efter frågornas ordning i den engelska filen. I 52 filer ligger frågorna i en annan ordning än på engelska. När de kopierade svaren matchades mot varje fil efter radnummer blev resultatet 73.55%. Matchning efter fråge-ID gav 100% över 109,800 rader. Vid matchning efter radnummer kopplades 38,876 svar till en annan fråga. Av dessa gav 9,838 ändå poäng eftersom svarsnumren stämde överens.

## Kolla om två alternativ har samma text

I 148 rader har ett annat alternativ exakt samma text som det markerade svaret. Vi kopierade det markerade svarets text från varje rad. Att välja det första alternativet med den texten gav 16 poäng mindre. Att välja det sista gav 133 poäng mindre. Den här kontrollen jämför texten exakt som den är lagrad i den ursprungliga ZIP-filen.

## Jämför poäng på samma frågor

Om de 148 berörda raderna bara tas bort där de förekommer återstår mellan 894 och 899 frågor per fil. De berörda raderna omfattar 23 unika fråge-ID:n. Om alla 23 ID:n tas bort från varje fil återstår samma 877 frågor i varje fil.

## Kolla var texterna kommer ifrån

I den engelska filen pekar 513 frågor på sidor i den ursprungliga utvecklingsdelen av FLORES-200. För 417 av dessa frågor återges Belebele-texten exakt när de ursprungliga FLORES-meningarna sätts ihop i ordning. Antalet exakta matchningar varierar mellan de 116 övriga språk- och skriftfilerna som arkiven har gemensamt.

Vi kontrollerade också 45,279 Belebele-rader från FLORES-200:s `devtest`-URL:er i de 117 gemensamma språk- och skriftfilerna, inklusive den engelska. För 9 unika fråge-ID:n innehöll texten en fullständig utvecklingsmening i minst en fil. Kontrollen matchar käll-URL:er och exakt text i källarkiven. [Dokumentation för FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Originalarkivet för FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Kolla regeln att välja det kortaste svaret

Att alltid välja det kortaste svaret gav 27.03% över hela Belebele-testet. Regeln räknar tecken efter att likvärdiga Unicode-tecken och blanksteg har standardiserats. Om flera alternativ är lika korta delas 1 poäng lika mellan dem, och bara det markerade svarets andel räknas. En slumpmässig gissning med lika sannolikhet för vart och ett av de 4 alternativen har ett förväntat resultat på 25%. De ursprungliga författarna till Belebele använde ordöverlappning och svarslängd för att leta efter ledtrådar. De rapporterade också ett resultat på 28% för 900 frågor med en modell som använde orden utan att ta hänsyn till deras ordning. [Forskningsartikeln om Belebele, avsnitt 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Bilaga A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Jämför resultat med olika texter

Vi använde samma 900 fråge-ID:n på engelska och vietnamesiska. Regeln väljer det svarsalternativ som har högst andel unika ord som förekommer i frågan eller den tillhörande texten. Utan text används bara frågan. Om flera alternativ får samma resultat delas 1 poäng lika mellan dem. Vid varje körning med ersättningstext hämtas texten från en annan sida, och samma källsida används för ersättningstexten på båda språken.

| Språk | Ingen text | Första ersättningstexten | Avsedd text | Intervall över 16 ersättningstexter |
| --- | ---: | ---: | ---: | ---: |
| Engelska | 24.60% | 26.38% | 28.72% | 24.60% till 27.89% |
| Vietnamesiska | 25.98% | 24.80% | 27.17% | 23.58% till 27.84% |

Den avsedda texten gav högre resultat än alla 16 ersättningstexter på engelska och än 15 på vietnamesiska. Jämfört med att inte använda någon text gav den avsedda texten fler poäng på 311 frågor på engelska och 313 på vietnamesiska. Den gav färre poäng på 218 frågor på engelska och 234 på vietnamesiska. [Kod för ordmatchning](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Sammanställda resultat](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Ändra frågans språk

I de engelska och vietnamesiska utvecklingsfilerna för MLQA förekommer 511 fråge-ID:n i alla 4 kombinationer av språk för fråga och text. För dessa ID:n är texten och listan med godkända svar exakt desamma när frågans språk ändras från engelska till vietnamesiska och den engelska texten behålls. En jämförelse med detta upplägg poängsätter båda körningarna mot samma engelska svar. [Forskningsartikeln om MLQA](https://aclanthology.org/2020.acl-main.653/) · [MLQA-filernas struktur](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Upprepa kontrollen av ordmatchning

Ladda ner [den ursprungliga ZIP-filen för Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [skriptet för ordmatchning](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), dess [hjälpfil i Python](https://sapien1.com/research/reading-benchmark-evidence/check.py) och de [sparade sammanställda resultaten](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Lägg dem i samma mapp. Skriptet kontrollerar arkivets hashvärde och läser de engelska och vietnamesiska filerna. Det rapporterar resultat i poängenheter, där 12 enheter motsvarar ett rätt svar. Använd Python 3.12 för att upprepa jämförelsen.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
