# Como comparar pontuações de leitura de múltipla escolha entre idiomas

Use as mesmas perguntas e regras de pontuação em todos os idiomas. Verifique se há opções repetidas e trechos que o modelo pode ter visto antes. No Belebele, um teste de leitura multilíngue, copiamos os números das respostas corretas de cada arquivo e os colocamos na ordem das perguntas em inglês. A associação pelo número da linha deu 73,55%. A associação pelo ID da pergunta deu 100%. [Cálculo de pontuação do Belebele](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Associe cada resposta à pergunta certa

Salve o idioma, o ID da pergunta e o número ou a letra da opção escolhida com cada resposta. Os 122 arquivos do Belebele têm os mesmos 900 IDs, mas 52 trazem as perguntas em uma ordem diferente da do arquivo em inglês. No teste por número de linha, 9.838 respostas associadas à pergunta errada ainda receberam pontos porque os números das opções coincidiam. [Verificação da ordem das perguntas](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Confira se duas opções têm o mesmo texto

Imagine que B e D mostrem `12` e que o arquivo marque B como correta. A resposta `12` dá o texto, mas para pontuar pela posição é preciso ter a letra. Em 148 linhas do Belebele, o texto da resposta marcada se repete. Ao copiar esse texto exato, escolher a primeira opção correspondente fez perder 16 pontos e escolher a última fez perder 133. Decida se o teste pontua pelo identificador da opção ou pelo texto. Depois, confira as opções usando a mesma regra. [Opções de resposta repetidas](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Compare pontuações nas mesmas perguntas

Se você retirar as 148 linhas com opções de mesmo texto só nos arquivos em que aparecem, restam de 894 a 899 perguntas por idioma. Para comparar as mesmas perguntas em todos os idiomas, retire os 23 IDs afetados de todos os arquivos. Restam 877 perguntas em comum. Informe o total original e quantas foram pontuadas. [Comparação dos filtros de perguntas](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Confira quais trechos o modelo pode ter visto antes

Se você usou o conjunto de desenvolvimento do FLORES-200 para ajustar um modelo, confira se os mesmos trechos aparecem no Belebele. No arquivo em inglês, 513 perguntas apontam para páginas usadas nesse conjunto. Em 417 delas, juntar as frases do FLORES reproduz exatamente o trecho do Belebele. O número de correspondências exatas varia nos outros 116 arquivos de idioma e escrita em comum. Verifique o texto no idioma do teste. [Trechos em inglês reutilizados](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Trechos traduzidos reutilizados](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
