# En zero-shot-poäng kan ändras när NLI-etiketternas index flyttas

Två påhittade uppsättningar med tre logiter ger motsatt rangordning vid multietikettklassificering när de ordnas enligt två verkliga modellkonfigurationer. Även beräkningsvägen med en enda kandidat ändrar poängen. Den exklusiva beräkningsvägen med två kandidater ger samma rangordning för båda ordningarna. Jämförelsen testar poängberäkningen för zero-shot i Transformers 4.55.0 och 5.23.0 med offentlig konfigurationsmetadata och utan modellinferens.

## Det förväntade paret och paret som används

Pipelinen för zero-shot-klassificering skapar en premiss och en hypotes för varje kandidatetikett. Dokumentationen för poängberäkning vid multietikettklassificering beskriver en softmax över logiterna för implikation och motsägelse för varje kandidat. I båda de granskade versionerna hittar poängberäkningen implikation i `label2id`. Den använder den sista logiten som den andra indata när implikation har index 0, och index 0 i övriga fall. Samma gren körs när det bara finns en kandidat. [Dokumentation för poängberäkning](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Poängberäkning i 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Poängberäkning i 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Publicerad konfiguration | Index 0 | Index 1 | Index 2 | Logit som paras med implikation |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implikation | Motsägelse | Neutral | Neutral |
| facebook/bart-large-mnli | Motsägelse | Neutral | Implikation | Motsägelse |

Båda konfigurationerna har överensstämmande mappningar från etikett till index och tillbaka. De fastställer den deklarerade mappningen. Experimentet mäter inte vad respektive modell har lärt sig eller hur ofta deras verkliga logiter skulle ge en ändrad rangordning. [ModernBERT-konfiguration](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [BART-konfiguration](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Rangordningen ändras i ett kontrollerat testfall

Samma semantiska logiter ordnades om enligt respektive konfiguration. Etikett A har implikation 2, motsägelse 0 och neutral 4. Etikett B har implikation 1, motsägelse 2 och neutral −1. Referensberäkningen använder de två klasser som anges i dokumentationen. Resultaten stämmer överens i båda versionerna.

| Beräkningsväg | Etikett A | Etikett B | Högst poäng |
| --- | ---: | ---: | --- |
| Implikation och deklarerad motsägelse | 0.880797 | 0.268941 | A |
| Multietikett med ModernBERT-mappningen | 0.119203 | 0.880797 | B |
| Multietikett med BART-mappningen | 0.880797 | 0.268941 | A |
| Exklusiv med två kandidater, båda mappningarna | 0.731059 | 0.268941 | A |

Med enbart etikett A och standardvärdet `multi_label=False` ger samma gren 0.119203 för ModernBERT-mappningen och 0.880797 för BART. Av alla sex permutationer av de tre olika etiketterna ger multietikettgrenen poäng som överensstämmer med den deklarerade motsägelsepositionen för tre permutationer och med neutralpositionen för de tre övriga. Det är sex möjliga ordningar i ett testfall. Antalet uppskattar inte hur stor andel av publicerade modeller som påverkas. [Fullständig utdata](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

För en zero-shot-utvärdering bör du bevara checkpointens revision, klassmappning, poängberäkningsbibliotekets version, antalet kandidater och multietikettinställningen. Kontrollera vilka logiter beräkningsvägen faktiskt använder innan du jämför oberoende poäng mellan checkpointer. En etikettmappning måste beskriva utdataordningen för det befintliga utdatahuvudet. Att enbart redigera konfigurationen flyttar inte dess utdatakoordinater.

## Reproducera kontrollen

Kör `python3 check.py | cmp - observations.json` med kontroll av fel i pipelinen aktiverad och NumPy tillgängligt. Kontrollprogrammet verifierar byteinnehållet i två källkodsfiler för pipelinen och två modellkonfigurationsfiler, sammanlagt 27 139 byte. Det kör endast de versionslåsta metoderna för implikationsindex och efterbearbetning av poäng i en liten klass utan deras paketberoenden. Det tillhandahåller float32-arrayer via det gränssnitt som poängberäkningen förväntar sig från sina tensorindata. Den oberoende referensen använder den logistiska formen av softmax för två klasser. Paketet testar reducering och sortering av poäng. Det kör inte tokeniserare, modell, dataset, fullständig biblioteksinitiering eller prestandatest.

Transformers-repositoriet har licensen Apache 2.0. De två modellkortens licensangivelser var Apache 2.0 respektive MIT. Paketet använder de offentliga uppgifterna om etikettmappningar och identifierare. Kontrollprogrammet hämtar originalfilerna vid körning och innehåller ingen ursprunglig källkod, inga modellvikter, ingen löptext från modellkorten och inga exempel. [Kontrollprogram](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Transformers-licens](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
