# Jak porównywać wyniki testów czytania z pytaniami wyboru w różnych językach

Używaj tych samych pytań i zasad punktacji w każdym języku. Sprawdź, czy odpowiedzi się powtarzają, a model mógł wcześniej widzieć fragmenty. W wielojęzycznym teście czytania Belebele skopiowaliśmy numery poprawnych odpowiedzi z każdego pliku i ułożyliśmy je w kolejności pytań angielskich. Dopasowanie według numeru wiersza dało 73,55%. Dopasowanie według identyfikatora pytania dało 100%. [Przeliczenie wyników Belebele](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Dopasuj każdą odpowiedź do właściwego pytania

Zapisz przy odpowiedzi język, identyfikator pytania i numer lub literę wyboru. Pliki Belebele mają te same 900 identyfikatorów we wszystkich 122 wersjach, ale 52 pliki podają inną kolejność niż wersja angielska. Przy dopasowaniu według wiersza 9838 odpowiedzi przypisanych do niewłaściwych pytań dostało punkty, ponieważ numery wyborów przypadkiem się zgadzały. [Kontrola kolejności pytań](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Sprawdź, czy dwie opcje mają ten sam tekst

Przyjmij, że B i D zawierają `12`, a plik wskazuje B jako poprawną. Odpowiedź `12` podaje tekst. Do oceny według pozycji potrzebujesz litery. W 148 wierszach Belebele tekst oznaczonej odpowiedzi się powtarza. Po jego skopiowaniu wybór pierwszej pasującej opcji kosztował 16 punktów, a ostatniej 133. Zdecyduj, czy punktujesz oznaczenie opcji, czy jej tekst, i sprawdź możliwości według tej samej reguły. [Powtórzone opcje odpowiedzi](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Porównaj wyniki dla tych samych pytań

Po usunięciu 148 wierszy z powtórzeniami tylko tam, gdzie występują, pozostaje 894–899 pytań na język. Aby porównać te same pytania we wszystkich językach, usuń 23 odnośne identyfikatory z każdego pliku. Zostanie 877 wspólnych pytań. Podaj początkową liczbę pytań i liczbę ocenionych. [Porównanie filtrów pytań](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Sprawdź, które fragmenty model mógł wcześniej widzieć

Jeśli do strojenia modelu użyto zbioru deweloperskiego FLORES-200, sprawdź, czy te same teksty pojawiają się w Belebele. W angielskim pliku 513 pytań wskazuje strony z tego zbioru. Dla 417 z nich połączenie zdań FLORES odtwarza dokładnie tekst w Belebele. Liczba dokładnych dopasowań różni się w pozostałych 116 wspólnych plikach języków i rodzajów pisma. Sprawdź tekst w testowanym języku. [Ponowne użycie fragmentów angielskich](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Ponowne użycie fragmentów tłumaczonych](https://sapien1.com/pl/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
