Saltar al contenido principal

Menú

Investigación

Cómo reproducir y comparar puntuaciones de chrF a nivel de corpus

Idioma: Español

Para reproducir una puntuación de chrF a nivel de corpus, guarda el nombre y la versión de la métrica, sus opciones y los datos exactos que usaste. Conserva el archivo de predicciones y la lista ordenada de archivos de referencia, con sus sumas de comprobación. Guarda identificadores de segmento estables o un registro equivalente que indique qué predicción corresponde a qué segmento de cada archivo de referencia.

Los ejemplos usan textos inventados, dos segmentos y la configuración predeterminada de chrF2 de SacreBLEU 2.6.0.

Usa el mismo orden que en la evaluación original

SacreBLEU elige una referencia para cada predicción. Usa los recuentos de la referencia con la mayor puntuación por oración y, en caso de empate exacto, conserva la primera. Para calcular chrF2 a nivel de corpus, primero suma los recuentos de n-gramas elegidos.

En el primer ejemplo, las dos referencias empatan en 6.25 para la primera predicción de A. Sus recuentos de n-gramas son distintos. Al invertir el orden de los archivos, la puntuación de corpus de A baja de 79.03 a 39.48. B sigue en 64.31, así que cambia el ganador. La API y la línea de comandos dan el mismo resultado y las cuatro ejecuciones tienen la misma firma de la métrica. Usa los archivos en ese orden para verificar el valor publicado.

Compara ambos sistemas con cada orden posible

Si no sabes con certeza cuál era el orden original, anota los órdenes plausibles y puntúa ambos sistemas con cada uno. Calcula la diferencia dentro de cada ejecución antes de resumir el intervalo de diferencias.

En otro ejemplo con tres archivos de referencia, las puntuaciones de A van de 22.67 a 79.03 y las de B de 16.33 a 43.33. Los intervalos se solapan. Sin embargo, en los seis órdenes que se prueban por igual en ambos sistemas, A gana por entre 6.33 y 35.69 puntos al calcular la diferencia con las puntuaciones sin redondear. Si el ganador cambia según el orden, indícalo. Si siempre gana el mismo sistema, indica con qué órdenes compartidos se sostiene esa conclusión. Recupera el orden original para verificar la cifra original.

Vuelve a evaluar si cambian las referencias

Una referencia nueva puede mejorar la puntuación de una oración y reducir el chrF2 del corpus. En el tercer ejemplo, añadir un archivo de referencia sube la primera oración de A de 6.25 a 6.94. La segunda se mantiene en 100. La media por oración de A sube, pero su puntuación de corpus baja de 79.03 a 43.60. B sigue en 64.31. La referencia añadida obtiene una puntuación estrictamente mayor en el primer segmento, y los dos órdenes producen el mismo resultado de corpus. Sus recuentos cambian tanto las coincidencias como los denominadores del cálculo del corpus.

Cuando cambien las referencias, puntúa ambos sistemas con los archivos exactos, en el orden de cada versión. Guarda juntos los cuatro resultados para que se pueda ver la comparación directa en cada versión y cómo la cambia la revisión. Indica si el resultado es el chrF2 del corpus o la media de las puntuaciones por oración.

Selección de referencias y cálculo de corpus en SacreBLEU 2.6.0