# Un punteggio zero-shot può cambiare quando cambiano gli indici delle etichette NLI

Due insiemi inventati di tre logit producono classifiche multi-label opposte quando vengono disposti secondo due configurazioni reali di modelli. Anche il percorso con una sola etichetta candidata cambia il punteggio. Il percorso esclusivo con due etichette candidate produce la stessa classifica per entrambe le disposizioni. Questo confronto verifica il calcolo dei punteggi zero-shot in Transformers 4.55.0 e 5.23.0 usando metadati di configurazione pubblici, senza eseguire inferenze sui modelli.

## La coppia prevista e quella usata

La pipeline di classificazione zero-shot costruisce una premessa e un’ipotesi per ogni etichetta candidata. La documentazione sul calcolo dei punteggi multi-label descrive una softmax sui logit di entailment e contradiction per ogni etichetta candidata. In entrambe le versioni esaminate, il calcolo individua entailment in `label2id`. Usa l’ultimo logit come altro input quando entailment è all’indice 0 e quello all’indice 0 negli altri casi. Lo stesso ramo viene eseguito quando c’è una sola etichetta candidata. [Documentazione sui punteggi](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Calcolo dei punteggi in 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Calcolo dei punteggi in 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Configurazione pubblicata | Indice 0 | Indice 1 | Indice 2 | Logit associato a entailment |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |

Entrambe le configurazioni hanno mappature dirette e inverse delle etichette coerenti tra loro. Queste definiscono la mappatura dichiarata. L’esperimento non misura ciò che i rispettivi modelli hanno appreso né la frequenza con cui i loro logit reali produrrebbero un cambiamento nella classifica. [Configurazione ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Configurazione BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## La classifica cambia in un caso di prova controllato

Gli stessi logit semantici sono stati riordinati secondo ciascuna configurazione. L’etichetta A ha entailment 2, contradiction 0 e neutral 4. L’etichetta B ha entailment 1, contradiction 2 e neutral −1. Il calcolo di riferimento usa le due classi indicate nella documentazione. I risultati coincidono nelle due versioni.

| Percorso di calcolo | Etichetta A | Etichetta B | Punteggio più alto |
| --- | ---: | ---: | --- |
| Entailment e contradiction dichiarata | 0.880797 | 0.268941 | A |
| Multi-label con la mappatura ModernBERT | 0.119203 | 0.880797 | B |
| Multi-label con la mappatura BART | 0.880797 | 0.268941 | A |
| Esclusivo con due etichette candidate, entrambe le mappature | 0.731059 | 0.268941 | A |

Con la sola etichetta A e l’impostazione predefinita `multi_label=False`, lo stesso ramo restituisce 0.119203 per la mappatura ModernBERT e 0.880797 per BART. Nelle sei permutazioni delle tre etichette distinte, il ramo multi-label restituisce punteggi coerenti con la posizione dichiarata di contradiction in tre permutazioni e con quella di neutral nelle altre tre. Sono sei disposizioni possibili in un caso di prova. Il numero non fornisce una stima della quota di modelli pubblicati interessati. [Output completo](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Per una valutazione zero-shot, conserva la revisione del checkpoint, la mappatura delle classi, la versione della libreria di calcolo dei punteggi, il numero di etichette candidate e l’impostazione multi-label. Prima di confrontare punteggi indipendenti tra checkpoint, verifica quali logit usa effettivamente il percorso di calcolo. Una mappa delle etichette deve descrivere l’ordine degli output della head esistente. Modificare la sola configurazione non sposta le coordinate dei suoi output.

## Riproduci la verifica

Esegui `python3 check.py | cmp - observations.json` con il controllo degli errori della pipeline attivo e NumPy disponibile. Lo script di verifica controlla i byte di due file sorgente della pipeline e di due file di configurazione dei modelli, per un totale di 27.139 byte. Esegue solo i metodi fissati per l’indice di entailment e la post-elaborazione dei punteggi in una piccola classe, senza le dipendenze dei rispettivi pacchetti. Fornisce array float32 tramite l’interfaccia prevista per i tensori di input del calcolo dei punteggi. Il riferimento indipendente usa la forma logistica della softmax a due classi. Il pacchetto verifica la riduzione e l’ordinamento dei punteggi. Non esegue il tokenizer, il modello, il dataset, l’inizializzazione completa della libreria né benchmark.

Il repository di Transformers è distribuito con licenza Apache 2.0. Le licenze indicate nelle schede dei due modelli erano rispettivamente Apache 2.0 e MIT. Questo pacchetto usa i dati e gli identificatori pubblici delle mappe delle etichette. Lo script di verifica scarica i file originali durante l’esecuzione e non include codice sorgente originale, pesi dei modelli, testi delle schede o esempi. [Script di verifica](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licenza di Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
