# Cum compari între limbi scorurile la testele de lectură cu variante de răspuns

Folosește aceleași întrebări și reguli de notare în fiecare limbă. Caută variante cu text repetat și fragmente pe care modelul le-ar fi putut vedea. În testul multilingv de lectură Belebele, am copiat numerele răspunsurilor corecte din fiecare fișier și le-am ordonat după întrebările în engleză. Asocierea după numărul rândului a dat 73,55%. Asocierea după ID-ul întrebării a dat 100%. [Reluarea notării Belebele](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Asociază fiecare răspuns cu întrebarea potrivită

Salvează limba, ID-ul întrebării și numărul sau litera variantei cu fiecare răspuns. Cele 122 de fișiere Belebele au aceleași 900 de ID-uri, dar în 52 întrebările apar în altă ordine decât în engleză. La asocierea după rând, 9.838 de răspunsuri puse la alte întrebări au primit totuși puncte fiindcă numerele variantelor s-au potrivit întâmplător. [Verificarea ordinii întrebărilor](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Verifică dacă două variante au același text

Imaginează-ți că variantele B și D spun ambele `12`, iar fișierul marchează B drept corectă. Răspunsul `12` îți dă textul. Pentru a nota după poziție, ai nevoie de literă. În Belebele, 148 de rânduri repetă textul răspunsului marcat. După ce l-am copiat întocmai, prima variantă potrivită a costat 16 puncte, iar ultima, 133. Decide dacă notezi după numărul ori litera variantei sau după text. Apoi verifică variantele după aceeași regulă. [Variante de răspuns repetate](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Compară scorurile pe aceleași întrebări

Dacă elimini cele 148 de rânduri doar unde apar, rămân între 894 și 899 de întrebări în fiecare limbă. Ca să compari aceleași întrebări în toate limbile, elimină toate cele 23 de ID-uri afectate din fiecare fișier. Rămân 877 de întrebări comune. Raportează numărul inițial și câte întrebări ai notat. [Compararea filtrelor de întrebări](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Verifică ce fragmente ar fi putut vedea modelul

Dacă ai ajustat un model pe setul de dezvoltare FLORES-200, verifică dacă aceleași fragmente apar în Belebele. În fișierul englezesc, 513 întrebări trimit la pagini folosite în setul de dezvoltare. Pentru 417 dintre ele, propozițiile FLORES puse laolaltă reproduc exact fragmentul Belebele. Numărul de potriviri exacte diferă între celelalte 116 fișiere de limbă și scriere comune celor două seturi. Verifică textul în limba pe care o testezi. [Refolosirea fragmentelor în engleză](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Refolosirea fragmentelor traduse](https://sapien1.com/ro/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
