Investigación
Cómo comprobar si un modelo usa el pasaje
Haz al modelo las mismas preguntas dos veces, una con el pasaje y otra sin él. Mantén las preguntas, las opciones y las reglas de puntuación. Compara las puntuaciones para ver cuánto ayudó el pasaje. Si la prueba es de opción múltiple, haz otra comprobación con las opciones solas. En Belebele, la regla de elegir siempre la opción más corta obtuvo un 27,03 % en toda la prueba. Si todas las opciones tienen la misma probabilidad al adivinar, la puntuación esperada es del 25 %. Comprobación de la longitud de las opciones en Belebele
Cambia un solo dato de entrada a la vez
| Qué ve el modelo | Qué comparar |
|---|---|
| Pasaje, pregunta y opciones | Con qué frecuencia acierta cuando recibe todo |
| Pregunta y opciones | Con qué frecuencia acierta sin el pasaje |
| Solo las opciones | Con qué frecuencia acierta con las opciones solas |
Usa el mismo modelo y la misma configuración en todas las pruebas. Cuenta cuántas respuestas pasan de incorrectas a correctas al añadir el pasaje y cuántas cambian al revés. Esos recuentos explican por qué la puntuación puede cambiar poco aunque se acierten preguntas distintas. En una prueba de respuesta escrita, compara las dos primeras pruebas sin opciones y usa las mismas respuestas aceptadas.
Revisa en qué preguntas cambió el resultado
Supón que el modelo acierta 70 de 100 preguntas en ambas pruebas. Al emparejar por identificador, 62 son correctas en las dos pruebas y 22 son incorrectas en ambas. Al añadir el pasaje, ocho respuestas pasan de incorrectas a correctas y ocho de correctas a incorrectas. La puntuación sigue siendo del 70 %, pero puedes revisar 16 preguntas para ver en cuáles ayudó o perjudicó el pasaje.
Prueba una regla sencilla de coincidencia de palabras
Los autores de Belebele buscaron pistas en las palabras compartidas y en la longitud de las respuestas. También informaron de un 28 % en 900 preguntas con un modelo que tenía en cuenta qué palabras aparecían sin considerar su orden. Artículo de Belebele, sección 3.2 · Apéndice A.6
Aplicamos una regla fija de coincidencia de palabras a las mismas 900 preguntas de Belebele en inglés y vietnamita. Probamos sin pasaje, con el pasaje correspondiente y con uno de otra página. Para cada opción, calculamos la proporción de sus palabras distintas que también aparecen en la pregunta o en el pasaje proporcionado. Sin pasaje, usamos solo la pregunta. Elegimos la opción con la proporción más alta. Si hay empate en el primer puesto, repartimos un punto por igual y solo contamos la parte de la opción marcada como correcta. En cada pregunta, los pasajes de reemplazo en inglés y vietnamita proceden de una misma página distinta de la original, cada uno en su idioma. Código · Resultados
| Idioma | Sin pasaje | Pasaje de otra página | Pasaje correspondiente |
|---|---|---|---|
| Inglés | 24.60% | 26.38% | 28.72% |
| Vietnamita | 25.98% | 24.80% | 27.17% |
En la primera comparación, el pasaje correspondiente obtuvo la puntuación más alta en los dos idiomas. Probamos otras 15 maneras de intercambiar los pasajes. En los 16 intercambios, la puntuación fue del 24,60 % al 27,89 % en inglés y del 23,58 % al 27,84 % en vietnamita. El pasaje correspondiente superó los 16 intercambios en inglés y 15 en vietnamita. Prueba varios reemplazos para depender menos de la página elegida. Resultados de todos los intercambios
Frente a la prueba sin pasaje, el pasaje correspondiente aumentó la puntuación en 311 preguntas en inglés y 313 en vietnamita. La redujo en 218 en inglés y 234 en vietnamita. Si comparas esta regla con un modelo, puntúa ambos sobre las mismas preguntas.
Mantén las preguntas y las reglas de puntuación
Guarda el identificador de pregunta con cada respuesta. Los 122 archivos de Belebele comparten 900 identificadores, pero 52 presentan las preguntas en otro orden que el archivo en inglés. Si excluyes preguntas con texto repetido en las opciones, elimina los mismos identificadores de todas las pruebas que compares. Guarda la letra de la opción para distinguir dos opciones que muestran el mismo texto. Prueba del orden de las preguntas · Filtro de preguntas
Comprueba qué pudo haber visto el modelo
El modelo puede acertar sin el pasaje por conocimientos previos, por pistas en la pregunta o las opciones, o por azar. Si usaste el conjunto de desarrollo de FLORES-200 para ajustar un modelo que ahora quieres evaluar con Belebele, puedes excluir las preguntas asociadas a esas URL. Revisa también el texto. En los archivos originales, nueve preguntas de otras URL aún contenían una oración del conjunto de desarrollo en al menos un idioma o sistema de escritura revisado. Comprobación de pasajes en Belebele
Mantén el pasaje cuando cambies el idioma de la pregunta
Para saber si preguntar en otro idioma cambia el resultado, haz esa comparación por separado. En los archivos de MLQA en inglés y vietnamita que revisamos, 511 identificadores permiten cambiar el idioma de la pregunta y conservar exactamente el pasaje en inglés y las respuestas aceptadas. Puntúa las dos pruebas con las mismas respuestas en inglés. Preguntas emparejadas de MLQA