Saltar al contenido principal

Menú

Investigación

Una puntuación zero-shot puede cambiar al desplazarse los índices de las etiquetas NLI

Idioma: Español

Dos conjuntos inventados de tres logits producen clasificaciones multietiqueta opuestas al ordenarse según dos configuraciones reales de modelos. La ruta con un solo candidato también cambia la puntuación. La ruta exclusiva con dos candidatos da la misma clasificación para ambos órdenes. Esta comparación comprueba el cálculo de puntuaciones zero-shot en Transformers 4.55.0 y 5.23.0 mediante metadatos de configuración públicos y sin inferencia de modelos.

El par esperado y el par utilizado

La canalización de clasificación zero-shot construye una premisa y una hipótesis para cada etiqueta candidata. Su documentación sobre el cálculo de puntuaciones multietiqueta describe una función softmax aplicada a los logits de implicación y contradicción de cada candidato. En las dos versiones examinadas, el cálculo localiza la implicación en label2id. Usa el último logit como segunda entrada cuando la implicación está en el índice 0 y el índice 0 en los demás casos. La misma rama se ejecuta cuando solo hay un candidato. Documentación del cálculo de puntuaciones · Cálculo en 4.55.0 · Cálculo en 5.23.0

Configuración publicadaÍndice 0Índice 1Índice 2Logit emparejado con implicación
aiface/ModernBERT-large_nliImplicaciónContradicciónNeutralNeutral
facebook/bart-large-mnliContradicciónNeutralImplicaciónContradicción

Ambas configuraciones tienen correspondencia entre sus mapas directos e inversos de etiquetas. Estos establecen la asignación declarada. El experimento no mide lo que aprendieron los respectivos modelos ni con qué frecuencia sus logits reales producirían un cambio de clasificación. Configuración de ModernBERT · Configuración de BART

La clasificación cambia en un caso de prueba controlado

Los mismos logits semánticos se reordenaron según cada configuración. La etiqueta A tiene implicación 2, contradicción 0 y neutral 4. La etiqueta B tiene implicación 1, contradicción 2 y neutral −1. El cálculo de referencia usa las dos clases indicadas en la documentación. Los resultados coinciden en ambas versiones.

Ruta de puntuaciónEtiqueta AEtiqueta BPuntuación más alta
Implicación y contradicción declarada0.8807970.268941A
Multietiqueta con la asignación de ModernBERT0.1192030.880797B
Multietiqueta con la asignación de BART0.8807970.268941A
Exclusiva con dos candidatos, con ambas asignaciones0.7310590.268941A

Con solo la etiqueta A y el valor predeterminado multi_label=False, la misma rama da 0.119203 para la asignación de ModernBERT y 0.880797 para la de BART. Entre las seis permutaciones de las tres etiquetas distintas, la rama multietiqueta da puntuaciones coherentes con la posición declarada de contradicción en tres permutaciones y con la posición neutral en las otras tres. Estos son seis órdenes posibles en un caso de prueba. La cifra no estima la proporción de modelos publicados afectados. Resultado completo

Para una evaluación zero-shot, conserva la revisión del checkpoint, la asignación de clases, la versión de la biblioteca de puntuación, el número de candidatos y la configuración multietiqueta. Comprueba qué logits usa realmente la ruta de puntuación antes de comparar puntuaciones independientes entre checkpoints. Un mapa de etiquetas debe describir el orden de salida de la capa de salida existente. Editar solo la configuración no cambia sus coordenadas de salida.

Reproduce la comprobación

Ejecuta python3 check.py | cmp - observations.json con la detección de fallos de la canalización activada y NumPy disponible. El comprobador verifica los bytes de dos archivos de código fuente de la canalización y dos archivos de configuración de modelos, que suman 27.139 bytes. Ejecuta únicamente los métodos fijados de índice de implicación y posprocesamiento de puntuaciones en una clase pequeña, sin las dependencias de sus paquetes. Proporciona matrices float32 mediante la interfaz esperada para las entradas de tensores del cálculo de puntuaciones. La referencia independiente usa la forma logística de la función softmax de dos clases. El paquete prueba la reducción y la ordenación de las puntuaciones. No ejecuta el tokenizador, el modelo, el conjunto de datos, la inicialización completa de la biblioteca ni pruebas de rendimiento.

El repositorio de Transformers tiene licencia Apache 2.0. Las licencias indicadas en las dos tarjetas de modelo eran Apache 2.0 y MIT, respectivamente. Este paquete usa los datos y los identificadores públicos de los mapas de etiquetas. El comprobador obtiene los archivos originales en tiempo de ejecución y no incluye código fuente original, pesos de modelos, texto de las tarjetas ni ejemplos. Comprobador · Licencia de Transformers