Evidencia para las guías sobre pruebas de comprensión lectora
Estas comprobaciones utilizan los archivos originales de Belebele y FLORES-200, y los archivos públicos de desarrollo de MLQA. Belebele tiene cuatro opciones de respuesta por pregunta. Los 122 archivos de idiomas y sistemas de escritura del ZIP original comparten 900 identificadores de pregunta. En estos archivos, cada identificador relaciona una URL de origen con un número de pregunta. Artículo de Belebele · Descarga y formato de Belebele
Asocia cada respuesta con su pregunta
Copiamos los números de las respuestas marcadas de cada archivo de Belebele y los ordenamos según el orden de las preguntas en inglés. En 52 archivos, las preguntas aparecen en un orden distinto al del inglés. Al asociar las respuestas copiadas con cada archivo por número de fila, se obtuvo un 73.55%. Al asociarlas por identificador de pregunta, se obtuvo un 100% en 109,800 filas. Al asociarlas por número de fila, 38,876 respuestas se asignaron a una pregunta distinta. De estas, 9,838 recibieron puntuación porque los números de respuesta coincidían.
Comprueba si dos opciones tienen el mismo texto
En 148 filas, otra opción tiene exactamente el mismo texto que la respuesta marcada. Copiamos el texto de la respuesta marcada de cada fila. Al asignar la primera opción con ese texto se perdieron 16 créditos. Al asignar la última se perdieron 133. Esta comprobación compara el texto exactamente como está almacenado en el ZIP original.
Compara puntuaciones sobre las mismas preguntas
Si se eliminan las 148 filas afectadas solo de los archivos en los que aparecen, quedan entre 894 y 899 preguntas por archivo. Las filas afectadas corresponden a 23 identificadores de pregunta distintos. Si se eliminan los 23 identificadores de todos los archivos, quedan las mismas 877 preguntas en cada uno.
Comprueba de dónde proceden los pasajes
En el archivo en inglés, 513 preguntas apuntan a páginas del conjunto de desarrollo original de FLORES-200. En 417 de esas preguntas, al unir en orden las frases originales de FLORES se reproduce exactamente el pasaje de Belebele. El número de coincidencias exactas varía entre los otros 116 archivos de idiomas y sistemas de escritura que comparten los conjuntos de archivos.
También comprobamos 45,279 filas de Belebele procedentes de URL de devtest de FLORES-200 en los 117 archivos de idiomas y sistemas de escritura compartidos, incluido el inglés. En 9 identificadores de pregunta distintos, el pasaje contenía una frase completa del conjunto de desarrollo en al menos un archivo. La comprobación busca coincidencias de URL de origen y de texto exacto en los archivos originales. Documentación de FLORES-200 · Archivo original de FLORES-200
Comprueba la regla de la respuesta más corta
Elegir siempre la respuesta más corta obtuvo una puntuación del 27.03% en la prueba completa de Belebele. La regla cuenta los caracteres después de normalizar los caracteres Unicode equivalentes y los espacios en blanco. Si varias opciones empatan como las más cortas, divide un punto a partes iguales entre ellas y solo contabiliza la parte de la respuesta marcada. Una elección al azar con la misma probabilidad para cada una de las cuatro opciones tiene una puntuación esperada del 25%. Los autores originales de Belebele utilizaron la coincidencia de palabras y la longitud de las respuestas para buscar pistas. También informaron de un resultado del 28% en 900 preguntas con un modelo que utilizaba las palabras sin tener en cuenta su orden. Artículo de Belebele, sección 3.2 · Apéndice A.6
Compara las puntuaciones según el pasaje
Usamos los mismos 900 identificadores de pregunta en inglés y vietnamita. La regla elige la opción de respuesta con la mayor proporción de palabras distintas que aparecen en la pregunta o en el pasaje proporcionado. Cuando no hay pasaje, utiliza solo la pregunta. Las opciones empatadas se reparten un punto a partes iguales. En cada ejecución con un pasaje de sustitución, este procede de otra página y se utiliza la misma página de origen en ambos idiomas.
| Idioma | Sin pasaje | Primera sustitución | Pasaje correspondiente | Intervalo en 16 sustituciones |
|---|---|---|---|---|
| Inglés | 24.60% | 26.38% | 28.72% | De 24.60% a 27.89% |
| Vietnamita | 25.98% | 24.80% | 27.17% | De 23.58% a 27.84% |
El pasaje correspondiente obtuvo una puntuación superior a la de las 16 sustituciones en inglés y a la de 15 en vietnamita. En comparación con la ausencia de pasaje, el pasaje correspondiente aumentó la puntuación en 311 preguntas en inglés y en 313 en vietnamita. La redujo en 218 preguntas en inglés y en 234 en vietnamita. Código de coincidencia de palabras · Resultados agregados
Cambia el idioma de la pregunta
En los archivos de desarrollo de MLQA en inglés y vietnamita, 511 identificadores de pregunta aparecen en las cuatro combinaciones de idioma de pregunta e idioma de pasaje. Para esos identificadores, al cambiar el idioma de la pregunta de inglés a vietnamita y mantener fijo el pasaje en inglés, el pasaje y la lista de respuestas aceptadas permanecen exactamente iguales. Una comparación con esta configuración puntúa ambas ejecuciones frente a las mismas respuestas en inglés. Artículo de MLQA · Organización de los archivos de MLQA
Repite la comprobación de coincidencia de palabras
Descarga el ZIP original de Belebele, el script de coincidencia de palabras, su archivo auxiliar de Python y los resultados agregados guardados. Colócalos en la misma carpeta. El script verifica el hash del archivo y lee los archivos en inglés y vietnamita. Presenta las puntuaciones en unidades, de modo que 12 unidades equivalen a una respuesta correcta. Usa Python 3.12 para repetir la comparación.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json