# Un score zero-shot peut changer lorsque les indices des labels NLI changent

Deux jeux fictifs de trois logits produisent des classements multilabel opposés lorsqu’ils sont ordonnés selon deux configurations de modèles réelles. Le calcul avec un seul candidat modifie aussi le score. Le calcul exclusif à deux candidats donne le même classement pour les deux ordres. Cette comparaison teste le calcul des scores zero-shot dans Transformers 4.55.0 et 5.23.0 à partir de métadonnées de configuration publiques, sans inférence de modèle.

## La paire attendue et la paire utilisée

Le pipeline de classification zero-shot construit une prémisse et une hypothèse pour chaque label candidat. Sa documentation décrit, pour le calcul multilabel, un softmax sur les logits d’implication et de contradiction de chaque candidat. Dans les deux versions examinées, le calcul des scores trouve l’implication dans `label2id`. Il utilise le dernier logit comme autre entrée lorsque l’implication se trouve à l’indice 0, et celui de l’indice 0 sinon. La même branche s’exécute lorsqu’il n’y a qu’un seul candidat. [Documentation du calcul des scores](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Calcul des scores 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Calcul des scores 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Configuration publiée | Indice 0 | Indice 1 | Indice 2 | Logit associé à l’implication |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implication | Contradiction | Neutre | Neutre |
| facebook/bart-large-mnli | Contradiction | Neutre | Implication | Contradiction |

Dans les deux configurations, les correspondances des labels dans les deux sens concordent. Elles établissent la correspondance déclarée. L’expérience ne mesure ni ce que les modèles respectifs ont appris, ni la fréquence à laquelle leurs logits réels produiraient un changement de classement. [Configuration ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Configuration BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Le classement change dans un jeu de test contrôlé

Les mêmes logits sémantiques ont été réordonnés selon chaque configuration. Le label A a une implication de 2, une contradiction de 0 et une valeur neutre de 4. Le label B a une implication de 1, une contradiction de 2 et une valeur neutre de −1. Le calcul de référence utilise les deux classes nommées dans la documentation. Les résultats concordent entre les deux versions.

| Mode de calcul | Label A | Label B | Score le plus élevé |
| --- | ---: | ---: | --- |
| Implication et contradiction déclarée | 0.880797 | 0.268941 | A |
| Multilabel avec la correspondance ModernBERT | 0.119203 | 0.880797 | B |
| Multilabel avec la correspondance BART | 0.880797 | 0.268941 | A |
| Exclusif à deux candidats, avec l’une ou l’autre correspondance | 0.731059 | 0.268941 | A |

Avec le seul label A et le réglage par défaut `multi_label=False`, la même branche donne 0,119203 pour la correspondance ModernBERT et 0,880797 pour celle de BART. Parmi les six permutations des trois labels distincts, la branche multilabel donne des scores cohérents avec la position de la contradiction déclarée pour trois permutations, et avec celle de la classe neutre pour les trois autres. Il s’agit de six ordres possibles dans un jeu de test. Ce nombre ne permet pas d’estimer la part des modèles publiés concernés. [Résultats complets](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Pour une évaluation zero-shot, conservez la révision du checkpoint, la correspondance des classes, la version de la bibliothèque de calcul des scores, le nombre de candidats et le réglage multilabel. Vérifiez quels logits le mode de calcul utilise réellement avant de comparer des scores indépendants entre checkpoints. Une correspondance de labels doit décrire l’ordre des sorties de la tête existante. Modifier la configuration seule ne déplace pas ses coordonnées de sortie.

## Reproduire la vérification

Exécutez `python3 check.py | cmp - observations.json` avec la vérification des échecs du pipeline activée et NumPy disponible. Le programme de vérification contrôle les octets de deux fichiers sources du pipeline et de deux fichiers de configuration de modèles, soit 27 139 octets au total. Il exécute uniquement les méthodes épinglées de recherche de l’indice d’implication et de post-traitement des scores, dans une petite classe sans leurs dépendances de package. Il fournit des tableaux float32 par l’interface attendue pour les entrées tensorielles du calcul des scores. La référence indépendante utilise la forme logistique du softmax à deux classes. Le package teste la réduction et le tri des scores. Il n’exécute ni tokenizer, ni modèle, ni jeu de données, ni initialisation complète de la bibliothèque, ni benchmark.

Le dépôt Transformers est sous licence Apache 2.0. Les licences indiquées sur les deux fiches de modèles étaient respectivement Apache 2.0 et MIT. Ce package utilise les faits et les identifiants publics relatifs aux correspondances de labels. Le programme de vérification récupère les fichiers sources à l’exécution et n’intègre aucun code source d’origine, poids de modèle, texte de fiche ou exemple. [Programme de vérification](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licence Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
