# Cómo comparar puntuaciones de lectura de opción múltiple entre idiomas

Usa las mismas preguntas y reglas de puntuación en todos los idiomas. Busca opciones repetidas y pasajes que el modelo pueda haber visto antes. En Belebele, una prueba de lectura multilingüe, copiamos de cada archivo los números de las opciones marcadas como correctas y ordenamos esas respuestas como en el archivo en inglés. Emparejarlas por número de fila dio un 73,55 %. Emparejarlas por identificador de pregunta dio un 100 %. [Prueba de puntuación de Belebele](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Asocia cada respuesta con su pregunta

Guarda el idioma, el identificador de pregunta y el número o la letra elegidos con cada respuesta. Los 122 archivos de Belebele comparten los mismos 900 identificadores, pero 52 presentan las preguntas en otro orden que el archivo en inglés. En la prueba por filas, 9838 respuestas emparejadas con preguntas equivocadas recibieron puntos porque los números de opción coincidían. [Comprobación del orden de las preguntas](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Comprueba si dos opciones tienen el mismo texto

Imagina que las opciones B y D dicen `12` y el archivo marca B como correcta. Si la respuesta es `12`, tienes el texto. Para puntuar por posición, necesitas la letra. En 148 filas de Belebele se repite el texto de la respuesta marcada. Al copiarlo tal cual, elegir la primera opción que coincidía hizo perder 16 puntos y elegir la última hizo perder 133. Decide si vas a puntuar por letra o número de opción, o por texto. Luego revisa las opciones con esa misma regla. [Opciones repetidas](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Compara puntuaciones sobre las mismas preguntas

Si apartas las 148 filas con respuestas repetidas solo donde aparecen, quedan entre 894 y 899 preguntas por idioma. Para comparar las mismas preguntas en todos los idiomas, aparta los 23 identificadores afectados en todos los archivos. Quedan 877 preguntas comunes. Indica cuántas había al inicio y cuántas puntuaste. [Comparación de filtros de preguntas](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Comprueba qué pasajes pudo haber visto el modelo

Si usaste el conjunto de desarrollo de FLORES-200 para ajustar un modelo, comprueba si esos pasajes aparecen en Belebele. En inglés, 513 preguntas remiten a páginas usadas en ese conjunto. En 417, unir las oraciones de FLORES reproduce exactamente el pasaje de Belebele. El número de coincidencias exactas varía entre los otros 116 archivos de idioma y escritura que comparten ambos conjuntos. Revisa el texto en el idioma que vas a evaluar. [Reutilización de pasajes en inglés](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Reutilización de pasajes traducidos](https://sapien1.com/es/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
