Vai al contenuto principale

Menu

Ricerca

Un punteggio zero-shot può cambiare quando cambiano gli indici delle etichette NLI

Lingua: Italiano

Due insiemi inventati di tre logit producono classifiche multi-label opposte quando vengono disposti secondo due configurazioni reali di modelli. Anche il percorso con una sola etichetta candidata cambia il punteggio. Il percorso esclusivo con due etichette candidate produce la stessa classifica per entrambe le disposizioni. Questo confronto verifica il calcolo dei punteggi zero-shot in Transformers 4.55.0 e 5.23.0 usando metadati di configurazione pubblici, senza eseguire inferenze sui modelli.

La coppia prevista e quella usata

La pipeline di classificazione zero-shot costruisce una premessa e un’ipotesi per ogni etichetta candidata. La documentazione sul calcolo dei punteggi multi-label descrive una softmax sui logit di entailment e contradiction per ogni etichetta candidata. In entrambe le versioni esaminate, il calcolo individua entailment in label2id. Usa l’ultimo logit come altro input quando entailment è all’indice 0 e quello all’indice 0 negli altri casi. Lo stesso ramo viene eseguito quando c’è una sola etichetta candidata. Documentazione sui punteggi · Calcolo dei punteggi in 4.55.0 · Calcolo dei punteggi in 5.23.0

Configurazione pubblicataIndice 0Indice 1Indice 2Logit associato a entailment
aiface/ModernBERT-large_nliEntailmentContradictionNeutralNeutral
facebook/bart-large-mnliContradictionNeutralEntailmentContradiction

Entrambe le configurazioni hanno mappature dirette e inverse delle etichette coerenti tra loro. Queste definiscono la mappatura dichiarata. L’esperimento non misura ciò che i rispettivi modelli hanno appreso né la frequenza con cui i loro logit reali produrrebbero un cambiamento nella classifica. Configurazione ModernBERT · Configurazione BART

La classifica cambia in un caso di prova controllato

Gli stessi logit semantici sono stati riordinati secondo ciascuna configurazione. L’etichetta A ha entailment 2, contradiction 0 e neutral 4. L’etichetta B ha entailment 1, contradiction 2 e neutral −1. Il calcolo di riferimento usa le due classi indicate nella documentazione. I risultati coincidono nelle due versioni.

Percorso di calcoloEtichetta AEtichetta BPunteggio più alto
Entailment e contradiction dichiarata0.8807970.268941A
Multi-label con la mappatura ModernBERT0.1192030.880797B
Multi-label con la mappatura BART0.8807970.268941A
Esclusivo con due etichette candidate, entrambe le mappature0.7310590.268941A

Con la sola etichetta A e l’impostazione predefinita multi_label=False, lo stesso ramo restituisce 0.119203 per la mappatura ModernBERT e 0.880797 per BART. Nelle sei permutazioni delle tre etichette distinte, il ramo multi-label restituisce punteggi coerenti con la posizione dichiarata di contradiction in tre permutazioni e con quella di neutral nelle altre tre. Sono sei disposizioni possibili in un caso di prova. Il numero non fornisce una stima della quota di modelli pubblicati interessati. Output completo

Per una valutazione zero-shot, conserva la revisione del checkpoint, la mappatura delle classi, la versione della libreria di calcolo dei punteggi, il numero di etichette candidate e l’impostazione multi-label. Prima di confrontare punteggi indipendenti tra checkpoint, verifica quali logit usa effettivamente il percorso di calcolo. Una mappa delle etichette deve descrivere l’ordine degli output della head esistente. Modificare la sola configurazione non sposta le coordinate dei suoi output.

Riproduci la verifica

Esegui python3 check.py | cmp - observations.json con il controllo degli errori della pipeline attivo e NumPy disponibile. Lo script di verifica controlla i byte di due file sorgente della pipeline e di due file di configurazione dei modelli, per un totale di 27.139 byte. Esegue solo i metodi fissati per l’indice di entailment e la post-elaborazione dei punteggi in una piccola classe, senza le dipendenze dei rispettivi pacchetti. Fornisce array float32 tramite l’interfaccia prevista per i tensori di input del calcolo dei punteggi. Il riferimento indipendente usa la forma logistica della softmax a due classi. Il pacchetto verifica la riduzione e l’ordinamento dei punteggi. Non esegue il tokenizer, il modello, il dataset, l’inizializzazione completa della libreria né benchmark.

Il repository di Transformers è distribuito con licenza Apache 2.0. Le licenze indicate nelle schede dei due modelli erano rispettivamente Apache 2.0 e MIT. Questo pacchetto usa i dati e gli identificatori pubblici delle mappe delle etichette. Lo script di verifica scarica i file originali durante l’esecuzione e non include codice sorgente originale, pesi dei modelli, testi delle schede o esempi. Script di verifica · Licenza di Transformers