# En zero-shot-skår kan endres når indeksene for NLI-etiketter flyttes

To konstruerte sett med tre logitverdier gir motsatte rangeringer med flere etiketter når de ordnes etter to reelle modellkonfigurasjoner. Beregningen med én kandidat endrer også skåren. Beregningen med to gjensidig utelukkende kandidater gir samme rangering for begge rekkefølgene. Sammenligningen tester zero-shot-skåringen i Transformers 4.55.0 og 5.23.0 med offentlig tilgjengelige konfigurasjonsmetadata og uten modellinferens.

## Forventet par og brukt par

Pipelinen for zero-shot-klassifisering lager et premiss og en hypotese for hver kandidatet ​ikett. Dokumentasjonen for skåring med flere etiketter beskriver en softmax over logitverdiene for implikasjon og motsigelse for hver kandidat. I begge de undersøkte versjonene finner skåringsmetoden implikasjon i `label2id`. Den bruker den siste logitverdien som den andre inngangsverdien når implikasjon har indeks 0, og indeks 0 ellers. Samme gren kjøres når det bare er én kandidat. [Dokumentasjon for skåring](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Skåringsmetode i 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Skåringsmetode i 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Publisert konfigurasjon | Indeks 0 | Indeks 1 | Indeks 2 | Logitverdi paret med implikasjon |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implikasjon | Motsigelse | Nøytral | Nøytral |
| facebook/bart-large-mnli | Motsigelse | Nøytral | Implikasjon | Motsigelse |

Begge konfigurasjonene har samsvarende etikettkart i begge retninger. De fastslår den oppgitte tilordningen. Eksperimentet måler ikke hva de respektive modellene har lært, eller hvor ofte de faktiske logitverdiene deres ville ført til en endret rangering. [ModernBERT-konfigurasjon](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [BART-konfigurasjon](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Rangeringen endres i et kontrollert testoppsett

De samme semantiske logitverdiene ble omordnet etter hver av konfigurasjonene. Etikett A har implikasjon 2, motsigelse 0 og nøytral 4. Etikett B har implikasjon 1, motsigelse 2 og nøytral −1. Referanseberegningen bruker de to klassene som er angitt i dokumentasjonen. Resultatene stemmer overens i begge versjonene.

| Skåringsmetode | Etikett A | Etikett B | Høyest skår |
| --- | ---: | ---: | --- |
| Implikasjon og oppgitt motsigelse | 0.880797 | 0.268941 | A |
| Flere etiketter med ModernBERT-tilordningen | 0.119203 | 0.880797 | B |
| Flere etiketter med BART-tilordningen | 0.880797 | 0.268941 | A |
| To gjensidig utelukkende kandidater, begge tilordninger | 0.731059 | 0.268941 | A |

Med bare etikett A og standardinnstillingen `multi_label=False` gir samme gren 0,119203 for ModernBERT-tilordningen og 0,880797 for BART. Av alle de seks permutasjonene av de tre ulike etikettene gir grenen for flere etiketter skårer som samsvarer med den oppgitte plassen for motsigelse i tre permutasjoner og plassen for nøytral i de tre andre. Dette er seks mulige rekkefølger i et testoppsett. Antallet gir ikke noe estimat for hvor stor andel av publiserte modeller som er berørt. [Fullstendig resultat](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

For en zero-shot-evaluering bør du bevare kontrollpunktets revisjon, klassetilordningen, versjonen av skåringsbiblioteket, antallet kandidater og innstillingen for flere etiketter. Sjekk hvilke logitverdier skåringsmetoden faktisk bruker før du sammenligner uavhengige skårer på tvers av kontrollpunkter. Et etikettkart må beskrive rekkefølgen på utdataene fra det eksisterende modellhodet. Å endre konfigurasjonen alene flytter ikke koordinatene i utdataene.

## Gjenta testen

Kjør `python3 check.py | cmp - observations.json` med feilkontroll for pipelinen aktivert og NumPy tilgjengelig. Kontrollprogrammet verifiserer bytene i to kildefiler for pipelinen og to konfigurasjonsfiler for modellene, totalt 27 139 byte. Det kjører bare de fastlåste metodene for implikasjonsindeks og etterbehandling av skårer i en liten klasse uten pakkeavhengighetene deres. Det leverer float32-arrayer gjennom grensesnittet som forventes av tensorinngangene til skåringsmetoden. Den uavhengige referansen bruker den logistiske formen av softmax for to klasser. Pakken tester reduksjon og sortering av skårer. Den kjører ikke tokenizer, modell, datasett, full initialisering av biblioteket eller ytelsestest.

Transformers-repositoriet har Apache 2.0-lisens. De to modellkortene var merket med henholdsvis Apache 2.0 og MIT. Denne pakken bruker offentlig tilgjengelige fakta om etikettkart og identifikatorer. Kontrollprogrammet henter oppstrømsfilene ved kjøring og inkluderer ingen oppstrøms kildekode, modellvekter, tekst eller eksempler fra modellkortene. [Kontrollprogram](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Transformers-lisens](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
