# Ein Zero-Shot-Score kann sich ändern, wenn sich die Indizes der NLI-Labels verschieben

Zwei erfundene Sätze aus je drei Logits ergeben bei Anordnung nach zwei realen Modellkonfigurationen entgegengesetzte Multi-Label-Rankings. Auch der Pfad mit einem einzelnen Kandidaten verändert den Score. Der exklusive Pfad mit zwei Kandidaten liefert für beide Anordnungen dasselbe Ranking. Dieser Vergleich prüft die Zero-Shot-Scoring-Logik in Transformers 4.55.0 und 5.23.0 anhand öffentlicher Konfigurationsmetadaten und ohne Modellinferenz.

## Das erwartete und das verwendete Paar

Die Zero-Shot-Klassifizierungspipeline erstellt für jedes Kandidaten-Label eine Prämisse und eine Hypothese. Ihre Dokumentation zum Multi-Label-Scoring beschreibt eine Softmax über die Logits für Entailment und Widerspruch für jeden Kandidaten. In beiden untersuchten Versionen findet die Scoring-Logik Entailment in `label2id`. Sie verwendet das letzte Logit als zweite Eingabe, wenn Entailment an Index 0 steht, und sonst das Logit an Index 0. Derselbe Zweig wird ausgeführt, wenn es nur einen Kandidaten gibt. [Scoring-Dokumentation](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Scoring-Logik in 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Scoring-Logik in 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Veröffentlichte Konfiguration | Index 0 | Index 1 | Index 2 | Mit Entailment gepaartes Logit |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Entailment | Widerspruch | Neutral | Neutral |
| facebook/bart-large-mnli | Widerspruch | Neutral | Entailment | Widerspruch |

Beide Konfigurationen enthalten übereinstimmende Label-Zuordnungen in beide Richtungen. Sie legen die deklarierte Zuordnung fest. Das Experiment misst weder, was die jeweiligen Modelle gelernt haben, noch wie häufig ihre realen Logits eine Änderung des Rankings bewirken würden. [ModernBERT-Konfiguration](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [BART-Konfiguration](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Das Ranking ändert sich in einer kontrollierten Testanordnung

Dieselben semantischen Logits wurden entsprechend der jeweiligen Konfiguration angeordnet. Label A hat Entailment 2, Widerspruch 0 und Neutral 4. Label B hat Entailment 1, Widerspruch 2 und Neutral −1. Die Referenzberechnung verwendet die beiden in der Dokumentation genannten Klassen. Die Ergebnisse stimmen in beiden Versionen überein.

| Scoring-Pfad | Label A | Label B | Höherer Score |
| --- | ---: | ---: | --- |
| Entailment und deklarierter Widerspruch | 0.880797 | 0.268941 | A |
| Multi-Label mit der ModernBERT-Zuordnung | 0.119203 | 0.880797 | B |
| Multi-Label mit der BART-Zuordnung | 0.880797 | 0.268941 | A |
| Exklusiv mit zwei Kandidaten, beide Zuordnungen | 0.731059 | 0.268941 | A |

Mit nur Label A und der Standardeinstellung `multi_label=False` ergibt derselbe Zweig 0,119203 für die ModernBERT-Zuordnung und 0,880797 für BART. Über alle sechs Permutationen der drei unterschiedlichen Labels hinweg liefert der Multi-Label-Zweig bei drei Permutationen Scores entsprechend der deklarierten Widerspruchsposition und bei den anderen drei entsprechend der Neutralposition. Dies sind sechs mögliche Anordnungen in einer Testanordnung. Die Zahl erlaubt keine Schätzung des Anteils betroffener veröffentlichter Modelle. [Vollständige Ausgabe](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Halte für eine Zero-Shot-Evaluation die Checkpoint-Revision, die Klassenzuordnung, die Version der Scoring-Bibliothek, die Anzahl der Kandidaten und die Multi-Label-Einstellung fest. Prüfe, welche Logits der Scoring-Pfad tatsächlich verwendet, bevor du unabhängige Scores verschiedener Checkpoints vergleichst. Eine Label-Zuordnung muss die Ausgabereihenfolge des vorhandenen Heads beschreiben. Eine Änderung allein an der Konfiguration verschiebt dessen Ausgabekoordinaten nicht.

## Prüfung reproduzieren

Führe `python3 check.py | cmp - observations.json` mit aktivierter Prüfung auf Pipeline-Fehler und installiertem NumPy aus. Das Prüfprogramm verifiziert die Bytes von zwei Pipeline-Quelldateien und zwei Modellkonfigurationsdateien mit insgesamt 27.139 Bytes. Es führt ausschließlich die auf feste Versionen festgelegten Methoden zur Bestimmung des Entailment-Index und zur Nachverarbeitung der Scores in einer kleinen Klasse ohne deren Paketabhängigkeiten aus. Es stellt float32-Arrays über die Schnittstelle bereit, die für die Tensor-Eingaben der Scoring-Logik erwartet wird. Die unabhängige Referenz verwendet die logistische Form der Softmax für zwei Klassen. Das Paket prüft die Reduktion und Sortierung der Scores. Es führt weder Tokenizer, Modell, Datensatz, vollständige Bibliotheksinitialisierung noch Benchmark aus.

Das Transformers-Repository steht unter Apache 2.0. Die Lizenzangaben der beiden Model Cards lauteten Apache 2.0 beziehungsweise MIT. Dieses Paket verwendet die öffentlichen Fakten und Identifikatoren der Label-Zuordnungen. Das Prüfprogramm ruft die Originaldateien zur Laufzeit ab und enthält keinen Originalquellcode, keine Modellgewichte, keine Texte aus Model Cards und keine Beispiele. [Prüfprogramm](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Transformers-Lizenz](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
