Evidencia para elegir una prueba de comprensión lectora multilingüe
Estas comprobaciones comparan las preguntas y los idiomas de versiones específicas de TyDi QA, XQuAD, MLQA y Belebele. Los recuentos corresponden a los archivos utilizados en la guía.
¿Qué preguntas comparten los archivos de TyDi QA?
Comparamos los archivos de desarrollo por idioma, título del artículo y redacción exacta de la pregunta. Cada una de las 5,077 filas de Gold Passage coincidió con una de las 18,670 filas de la tarea principal. En los 9 idiomas compartidos, el archivo de Gold Passage omite 1,285 filas de la tarea principal en las que al menos una persona anotadora marcó una respuesta escrita. El archivo de desarrollo de la tarea principal incluye japonés y tailandés, mientras que el archivo de Gold Passage no contiene filas en esos 2 idiomas.
Para comparar un artículo completo con una entrada más corta, pide al mismo modelo que dé una respuesta escrita 2 veces. Copia el pasaje más corto exactamente como aparece en el artículo. Mantén iguales la configuración, la pregunta, el formato de respuesta, las respuestas aceptadas y la regla de puntuación. Comprueba que cada respuesta aceptada aparezca en ambas entradas. Si usas Gold Passage tal como se proporciona, revisa el fragmento y su lista de respuestas. La comparación por pregunta establece qué preguntas comparten los archivos. El texto de los pasajes y las respuestas aceptadas pueden diferir.
Las evaluaciones de los autores para la tarea principal y Gold Passage excluyen el inglés de sus respectivas medias generales.
Recuentos por idioma (JSON) · Script de comparación (Python) · Archivo de desarrollo de la tarea principal en la revisión fijada · Archivo de desarrollo de Gold Passage en la revisión fijada · Reglas oficiales de puntuación
Guarda los 2 archivos fuente como primary.parquet y gold.parquet. Guarda el script y los recuentos en la misma carpeta y, después, ejecuta la comparación. El script verifica los valores de resumen de los 2 archivos de entrada antes de leerlos.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
¿Qué preguntas de XQuAD proceden de SQuAD?
Los 1,190 identificadores de XQuAD en inglés coinciden con preguntas del archivo de desarrollo de SQuAD 1.1. Para esos identificadores, el título del artículo, el pasaje y el texto de la pregunta coinciden exactamente. Los 12 archivos de la revisión de XQuAD que comprobamos comparten los mismos identificadores, incluido el archivo en rumano añadido después de la publicación original.
Recuentos y coincidencias de preguntas (JSON) · Artículo original de XQuAD · Revisión fijada de XQuAD · Archivo de desarrollo de SQuAD en la revisión fijada
¿Qué se mantiene igual cuando cambia el idioma de una pregunta de MLQA?
Los 4 archivos de desarrollo para inglés y vietnamita comparten 511 identificadores de preguntas. Al cambiar las preguntas de inglés a vietnamita y conservar el pasaje en inglés, cambiaron las 511 preguntas, pero ningún pasaje ni ninguna lista de respuestas aceptadas. La comprobación compara cada pasaje y la lista ordenada de respuestas aceptadas, incluidas las posiciones guardadas. Usa las mismas respuestas en inglés para puntuar ambas ejecuciones.
Recuentos de la comparación de archivos (JSON) · Descargas oficiales de MLQA · Artículo original de MLQA
¿Qué idiomas incluyen los 4 conjuntos de archivos?
Comprobamos los archivos de desarrollo de TyDi QA para la tarea principal y Gold Passage, la versión fijada de XQuAD y los archivos de desarrollo de MLQA que usan el mismo idioma para la pregunta y el pasaje. El árabe y el inglés son los únicos idiomas presentes en los 4 conjuntos. El tailandés aparece en la tarea principal de TyDi QA y en XQuAD, pero no en Gold Passage.
Códigos de idioma por conjunto de archivos (JSON)
¿Dónde está la prueba de opción múltiple en tailandés?
Belebele tiene un archivo en tailandés llamado tha_Thai.jsonl. Úsalo para preguntas que piden al modelo elegir una de 4 respuestas después de leer un pasaje.
Archivo en tailandés de los autores en la revisión fijada · Artículo original de Belebele · Cómo comparar las puntuaciones de comprensión lectora en preguntas de opción múltiple entre idiomas