# Wynik zero-shot może się zmienić wraz ze zmianą indeksów etykiet NLI

Dwa fikcyjne zestawy po trzy logity dają przeciwne rankingi wieloetykietowe, gdy zostaną uporządkowane według dwóch rzeczywistych konfiguracji modeli. Ścieżka z jednym kandydatem również zmienia wynik. Ścieżka wyłączna z dwoma kandydatami daje ten sam ranking dla obu układów. To porównanie sprawdza mechanizm punktacji zero-shot w Transformers 4.55.0 i 5.23.0 na podstawie publicznych metadanych konfiguracji, bez inferencji modeli.

## Oczekiwana i używana para

Potok klasyfikacji zero-shot tworzy przesłankę i hipotezę dla każdej etykiety kandydującej. Dokumentacja punktacji wieloetykietowej opisuje funkcję softmax obliczaną dla logitów wynikania i sprzeczności dla każdego kandydata. W obu sprawdzonych wersjach mechanizm punktacji znajduje wynikanie w `label2id`. Jako drugiej wartości używa ostatniego logitu, gdy wynikanie ma indeks 0, a w pozostałych przypadkach logitu o indeksie 0. Ta sama gałąź jest wykonywana, gdy jest tylko jeden kandydat. [Dokumentacja punktacji](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Mechanizm punktacji 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Mechanizm punktacji 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Opublikowana konfiguracja | Indeks 0 | Indeks 1 | Indeks 2 | Logit w parze z wynikaniem |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Wynikanie | Sprzeczność | Neutralność | Neutralność |
| facebook/bart-large-mnli | Sprzeczność | Neutralność | Wynikanie | Sprzeczność |

W obu konfiguracjach mapowania etykiet na indeksy i indeksów na etykiety są zgodne. Określają one zadeklarowane mapowanie. Eksperyment nie mierzy tego, czego nauczyły się poszczególne modele, ani tego, jak często ich rzeczywiste logity powodowałyby zmianę rankingu. [Konfiguracja ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Konfiguracja BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## Ranking zmienia się w kontrolowanym przykładzie testowym

Te same logity semantyczne uporządkowano według każdej z konfiguracji. Etykieta A ma wynikanie 2, sprzeczność 0 i neutralność 4. Etykieta B ma wynikanie 1, sprzeczność 2 i neutralność −1. Obliczenie referencyjne wykorzystuje dwie klasy wymienione w dokumentacji. Wyniki są zgodne w obu wersjach.

| Ścieżka punktacji | Etykieta A | Etykieta B | Wyższy wynik |
| --- | ---: | ---: | --- |
| Wynikanie i zadeklarowana sprzeczność | 0.880797 | 0.268941 | A |
| Wieloetykietowa z mapowaniem ModernBERT | 0.119203 | 0.880797 | B |
| Wieloetykietowa z mapowaniem BART | 0.880797 | 0.268941 | A |
| Wyłączna dla dwóch kandydatów, oba mapowania | 0.731059 | 0.268941 | A |

Przy samej etykiecie A i domyślnym ustawieniu `multi_label=False` ta sama gałąź daje wynik 0,119203 dla mapowania ModernBERT i 0,880797 dla BART. Spośród wszystkich sześciu permutacji trzech różnych etykiet gałąź wieloetykietowa daje wyniki zgodne z zadeklarowaną pozycją sprzeczności dla trzech permutacji, a z pozycją neutralności dla pozostałych trzech. To sześć możliwych układów w przykładzie testowym. Liczba ta nie pozwala oszacować odsetka opublikowanych modeli, których dotyczy to zjawisko. [Pełne wyniki](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Na potrzeby oceny zero-shot zachowaj rewizję punktu kontrolnego, mapowanie klas, wersję biblioteki punktującej, liczbę kandydatów i ustawienie trybu wieloetykietowego. Zanim porównasz niezależne wyniki z różnych punktów kontrolnych, sprawdź, których logitów faktycznie używa ścieżka punktacji. Mapa etykiet musi opisywać kolejność wyjść istniejącej głowicy. Sama edycja konfiguracji nie zmienia położenia jej współrzędnych wyjściowych.

## Odtwórz kontrolę

Uruchom `python3 check.py | cmp - observations.json` z włączonym wykrywaniem błędów w potoku powłoki i z dostępną biblioteką NumPy. Program sprawdzający weryfikuje bajty dwóch plików źródłowych potoku i dwóch plików konfiguracji modeli, o łącznym rozmiarze 27 139 bajtów. Wykonuje wyłącznie metody ustalania indeksu wynikania i przetwarzania końcowego wyników z przypiętych wersji, w małej klasie bez zależności od ich pakietów. Dostarcza tablice float32 przez interfejs oczekiwany dla tensorowych danych wejściowych mechanizmu punktacji. Niezależne obliczenie referencyjne wykorzystuje logistyczną postać funkcji softmax dla dwóch klas. Pakiet sprawdza redukcję i sortowanie wyników. Nie uruchamia tokenizatora, modelu, zbioru danych, pełnej inicjalizacji biblioteki ani testu porównawczego.

Repozytorium Transformers jest objęte licencją Apache 2.0. W dwóch kartach modeli wskazano odpowiednio licencje Apache 2.0 i MIT. Ten pakiet wykorzystuje publiczne informacje o mapach etykiet i identyfikatory. Program sprawdzający pobiera pliki źródłowe podczas działania i nie zawiera ich kopii, wag modeli, opisów z kart ani przykładów. [Program sprawdzający](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licencja Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
