# Skóre zero-shot klasifikace se může změnit při změně indexů štítků NLI

Dvě vymyšlené trojice logitů vedou při uspořádání podle dvou skutečných konfigurací modelů k opačnému pořadí při víceštítkové klasifikaci. Postup s jediným kandidátem také mění skóre. Postup se dvěma vzájemně se vylučujícími kandidáty dává při obou uspořádáních stejné pořadí. Toto srovnání testuje výpočet skóre zero-shot klasifikace v knihovně Transformers 4.55.0 a 5.23.0 pomocí veřejných metadat konfigurací a bez inference modelů.

## Očekávaná a použitá dvojice

Proces zero-shot klasifikace vytváří pro každý kandidátní štítek premisu a hypotézu. Dokumentace víceštítkového skórování popisuje použití funkce softmax na logity implikace a kontradikce pro každého kandidáta. V obou zkoumaných verzích vyhledá výpočet skóre implikaci v `label2id`. Jako druhý vstup použije poslední logit, pokud je implikace na indexu 0, jinak použije index 0. Stejná větev se spustí i při jediném kandidátovi. [Dokumentace skórování](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Výpočet skóre ve verzi 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Výpočet skóre ve verzi 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Zveřejněná konfigurace | Index 0 | Index 1 | Index 2 | Logit spárovaný s implikací |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implikace | Kontradikce | Neutrální vztah | Neutrální vztah |
| facebook/bart-large-mnli | Kontradikce | Neutrální vztah | Implikace | Kontradikce |

Obě konfigurace mají vzájemně odpovídající přímé a zpětné mapování štítků. Stanovují deklarované mapování. Experiment neměří, co se jednotlivé modely naučily ani jak často by jejich skutečné logity vedly ke změně pořadí. [Konfigurace ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Konfigurace BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Pořadí se v kontrolovaném testovacím příkladu mění

Stejné sémantické logity byly přeuspořádány podle jednotlivých konfigurací. Štítek A má logit implikace 2, kontradikce 0 a neutrálního vztahu 4. Štítek B má logit implikace 1, kontradikce 2 a neutrálního vztahu −1. Referenční výpočet používá dvě třídy uvedené v dokumentaci. Výsledky se v obou verzích shodují.

| Postup výpočtu skóre | Štítek A | Štítek B | Vyšší skóre |
| --- | ---: | ---: | --- |
| Implikace a deklarovaná kontradikce | 0.880797 | 0.268941 | A |
| Víceštítková klasifikace s mapováním ModernBERT | 0.119203 | 0.880797 | B |
| Víceštítková klasifikace s mapováním BART | 0.880797 | 0.268941 | A |
| Dva vzájemně se vylučující kandidáti, obě mapování | 0.731059 | 0.268941 | A |

Při použití pouze štítku A a výchozího nastavení `multi_label=False` dává stejná větev skóre 0,119203 pro mapování ModernBERT a 0,880797 pro BART. Ze všech šesti permutací tří různých štítků dává víceštítková větev u tří skóre odpovídající pozici deklarované kontradikce a u zbývajících tří pozici neutrálního vztahu. Jde o šest možných uspořádání v testovacím příkladu. Toto číslo neudává odhad podílu dotčených zveřejněných modelů. [Úplný výstup](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Pro vyhodnocení zero-shot klasifikace zachovejte revizi kontrolního bodu, mapování tříd, verzi knihovny pro výpočet skóre, počet kandidátů a nastavení víceštítkové klasifikace. Před porovnáním nezávislých skóre mezi kontrolními body ověřte, které logity postup výpočtu skutečně používá. Mapa štítků musí popisovat pořadí výstupů existující výstupní vrstvy. Samotná úprava konfigurace souřadnice jejího výstupu nezmění.

## Zopakovat ověření

Spusťte `python3 check.py | cmp - observations.json` se zapnutou kontrolou selhání příkazové roury a dostupnou knihovnou NumPy. Ověřovací skript kontroluje bajty dvou zdrojových souborů klasifikačního procesu a dvou konfiguračních souborů modelů o celkové velikosti 27 139 bajtů. V malé třídě spouští pouze metody pevně určené verze pro zjištění indexu implikace a následné zpracování skóre, bez závislostí jejich balíčku. Dodává pole float32 prostřednictvím rozhraní, které výpočet skóre očekává od vstupních tenzorů. Nezávislý referenční výpočet používá logistický tvar funkce softmax pro dvě třídy. Balíček prověřuje redukci a řazení skóre. Nespouští tokenizér, model, datovou sadu, úplnou inicializaci knihovny ani benchmark.

Repozitář knihovny Transformers je dostupný pod licencí Apache 2.0. Karty obou modelů uváděly licence Apache 2.0 a MIT v tomto pořadí. Tento balíček používá veřejně dostupné údaje o mapování štítků a identifikátory. Ověřovací skript načítá původní soubory za běhu a neobsahuje žádný původní zdrojový kód, váhy modelů, texty karet ani příklady. [Ověřovací skript](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licence Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
