Saltar al contenido principal

Menú

Investigación

Cómo elegir una prueba de comprensión lectora multilingüe

Idioma: Español

Elige una prueba que pida al modelo lo mismo que necesitan las personas que lo usan. Encontrar el pasaje correcto, responder a partir de un pasaje dado y entender una pregunta en otro idioma son habilidades distintas. Pruébalas por separado para saber qué paso conviene revisar.

Qué quieres comprobarPor dónde empezarQué hace el modelo
¿Puede encontrar la parte correcta de un artículo?TyDiQA-SelectPElige un pasaje de un artículo o indica que ninguno responde a la pregunta.
¿Puede encontrar las palabras que responden a la pregunta?TyDiQA-GoldPDevuelve las palabras de la respuesta a partir de un pasaje que las contiene.
¿Responde a las mismas preguntas en distintos idiomas?XQuAD o BelebeleResponde a partir de pasajes traducidos en XQuAD o elige entre cuatro opciones en Belebele.
¿Puede responder cuando la pregunta y el pasaje están en idiomas distintos?MLQAEncuentra la respuesta en un pasaje escrito en otro idioma.

Comprueba si el modelo encuentra la respuesta

Usa TyDiQA-SelectP si el modelo tiene que encontrar el pasaje correcto dentro de un artículo. Usa TyDiQA-MinSpan si también debe dar una respuesta breve, contestar sí o no, o indicar que el artículo no contiene la respuesta. Las preguntas de TyDi QA se redactaron directamente en cada idioma. Descripción de las tareas de TyDi QA

Para ver cuánto ayuda un pasaje más corto, pide dos veces una respuesta escrita al mismo modelo. Dale una vez el artículo completo y otra vez un fragmento copiado exactamente de ese artículo. Mantén la configuración, la pregunta, el formato de respuesta, las respuestas aceptadas y la regla de puntuación. Comprueba que cada respuesta aceptada aparezca en ambos textos. Si usas una entrada de Gold Passage tal como viene, revisa el fragmento y su lista de respuestas. Los archivos pueden compartir una pregunta aunque el texto o las respuestas aceptadas difieran. Los archivos de desarrollo de TyDi QA ayudan a preparar la comparación. Las 5.077 preguntas de Gold Passage también aparecen en el conjunto principal de 18.670 preguntas. Gold Passage deja fuera el japonés y el tailandés y omite 1.285 preguntas con respuestas escritas marcadas en los nueve idiomas que comparten los archivos. Empareja las preguntas por idioma, título del artículo y redacción exacta. Usa solo las parejas con una coincidencia única. Comparación de preguntas de TyDi QA

Usa las mismas preguntas al comparar idiomas

XQuAD presenta al modelo traducciones de las mismas preguntas y pasajes. Las 1.190 preguntas en inglés proceden del conjunto de desarrollo de SQuAD 1.1. Los archivos traducidos que revisamos comparten esos identificadores. Si ajustaste el modelo con el conjunto de desarrollo de SQuAD, comprueba qué preguntas coinciden antes de usar XQuAD como prueba con preguntas nuevas. Artículo original de XQuAD · Comprobación de preguntas reutilizadas

Belebele sirve para que el modelo elija una de cuatro respuestas. Sus 122 archivos de idiomas y sistemas de escritura comparten 900 identificadores de pregunta. Guarda el número o la letra de la opción elegida. Dos opciones pueden tener el mismo texto, y el texto por sí solo puede dejar dudas sobre cuál eligió el modelo. Si excluyes preguntas afectadas, usa los mismos identificadores restantes en todos los idiomas que compares. Comparar puntuaciones de lectura entre idiomas

Cambia el idioma de la pregunta y conserva el pasaje

Usa MLQA si, por ejemplo, alguien que habla vietnamita pregunta por un documento en inglés. En los archivos de desarrollo en inglés y vietnamita que revisamos, 511 preguntas compartidas permiten preguntar en cualquiera de los dos idiomas manteniendo exactamente el mismo pasaje en inglés y las mismas respuestas aceptadas. Puntúa ambas pruebas con las mismas respuestas en inglés. Así puedes ver qué cambió al cambiar el idioma de la pregunta. Artículo original de MLQA · Comparación de los archivos en inglés y vietnamita

Para comprobar por separado cuánto ayuda el pasaje, haz las mismas preguntas con el pasaje y sin él. Comprobar si un modelo usa el pasaje

Comprueba que la prueba incluya el idioma que necesitas

Para el tailandés, usa TyDiQA-SelectP para ver si el modelo encuentra el pasaje correcto, XQuAD para ver si localiza las palabras de la respuesta en un pasaje dado, o Belebele para ver si elige la respuesta correcta. El archivo de desarrollo de TyDiQA-GoldP no tiene preguntas en tailandés. Solo el árabe y el inglés aparecen en los cuatro conjuntos que comparamos: TyDi QA principal, TyDi QA Gold Passage, XQuAD y los archivos de desarrollo de MLQA con pregunta y pasaje en el mismo idioma. Comprobación de los idiomas disponibles · Archivos de idiomas de Belebele

Al publicar las puntuaciones, indica la tarea, los idiomas y cuántas preguntas se usaron para cada puntuación. Por ejemplo, los dos sistemas oficiales de puntuación de TyDi QA dejan el inglés fuera del promedio general aunque figure en los archivos. Documentación de puntuación de TyDi QA