# Un scor zero-shot se poate schimba când se modifică indicii etichetelor NLI

Două seturi inventate de câte trei logituri produc clasamente multi-label opuse când sunt ordonate conform a două configurații reale de model. Și traseul cu un singur candidat schimbă scorul. Traseul exclusiv cu doi candidați produce același clasament pentru ambele ordonări. Această comparație testează mecanismul de scorare zero-shot din Transformers 4.55.0 și 5.23.0 folosind metadate publice de configurare, fără inferență de model.

## Perechea așteptată și perechea folosită

Pipeline-ul de clasificare zero-shot construiește o premisă și o ipoteză pentru fiecare etichetă candidată. Documentația privind scorarea multi-label descrie un softmax aplicat logiturilor de implicație și contradicție pentru fiecare candidat. În ambele versiuni inspectate, mecanismul de scorare găsește implicația în `label2id`. Folosește ultimul logit ca a doua intrare când implicația este la indicele 0 și logitul de la indicele 0 în celelalte cazuri. Aceeași ramură rulează când există un singur candidat. [Documentația scorării](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Mecanismul de scorare 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Mecanismul de scorare 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Configurația publicată | Indicele 0 | Indicele 1 | Indicele 2 | Logitul asociat cu implicația |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implicație | Contradicție | Neutru | Neutru |
| facebook/bart-large-mnli | Contradicție | Neutru | Implicație | Contradicție |

Ambele configurații au corespondențe directe și inverse ale etichetelor care concordă. Acestea stabilesc corespondența declarată. Experimentul nu măsoară ce au învățat modelele respective sau cât de des ar produce logiturile lor reale o schimbare în clasament. [Configurația ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Configurația BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Clasamentul se schimbă într-un test controlat

Aceleași logituri semantice au fost reordonate conform fiecărei configurații. Eticheta A are implicație 2, contradicție 0 și neutru 4. Eticheta B are implicație 1, contradicție 2 și neutru −1. Calculul de referință folosește cele două clase numite în documentație. Rezultatele coincid în ambele versiuni.

| Traseul de scorare | Eticheta A | Eticheta B | Scor mai mare |
| --- | ---: | ---: | --- |
| Implicație și contradicția declarată | 0.880797 | 0.268941 | A |
| Multi-label folosind corespondența ModernBERT | 0.119203 | 0.880797 | B |
| Multi-label folosind corespondența BART | 0.880797 | 0.268941 | A |
| Exclusiv cu doi candidați, oricare dintre corespondențe | 0.731059 | 0.268941 | A |

Cu doar eticheta A și valoarea implicită `multi_label=False`, aceeași ramură dă 0,119203 pentru corespondența ModernBERT și 0,880797 pentru BART. Dintre toate cele șase permutări ale celor trei etichete distincte, ramura multi-label dă scoruri conforme cu poziția contradicției declarate pentru trei permutări și cu poziția clasei neutre pentru celelalte trei. Acestea sunt șase ordonări posibile într-un test controlat. Numărul nu oferă o estimare a proporției modelelor publicate care sunt afectate. [Rezultatul complet](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Pentru o evaluare zero-shot, păstrează revizia checkpoint-ului, corespondența claselor, versiunea bibliotecii de scorare, numărul de candidați și setarea multi-label. Verifică ce logituri folosește efectiv traseul de scorare înainte de a compara scoruri independente între checkpoint-uri. O corespondență a etichetelor trebuie să descrie ordinea ieșirilor head-ului existent. Editarea configurației nu schimbă, de una singură, coordonatele ieșirii sale.

## Reproduce verificarea

Rulează `python3 check.py | cmp - observations.json` cu verificarea erorilor din pipeline activată și cu NumPy disponibil. Instrumentul de verificare controlează octeții a două fișiere sursă ale pipeline-ului și a două fișiere de configurare a modelelor, în total 27.139 de octeți. Execută doar metodele fixate pentru indicele implicației și postprocesarea scorurilor, într-o clasă redusă, fără dependențele pachetelor lor. Furnizează tablouri float32 prin interfața așteptată de la intrările tensoriale ale mecanismului de scorare. Referința independentă folosește forma logistică a softmaxului cu două clase. Pachetul testează reducerea și sortarea scorurilor. Nu rulează tokenizerul, modelul, setul de date, inițializarea completă a bibliotecii sau un benchmark.

Depozitul Transformers este distribuit sub licența Apache 2.0. Licențele indicate în fișele celor două modele erau Apache 2.0 și, respectiv, MIT. Acest pachet folosește informațiile și identificatorii publici din corespondențele etichetelor. Instrumentul de verificare preia fișierele din sursele originale la rulare și nu include cod sursă original, ponderi de model, text din fișele modelelor sau exemple. [Instrumentul de verificare](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licența Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
