Przejdź do treści głównej

Menu

Badania

Wynik zero-shot może się zmienić wraz ze zmianą indeksów etykiet NLI

Język: Polski

Dwa fikcyjne zestawy po trzy logity dają przeciwne rankingi wieloetykietowe, gdy zostaną uporządkowane według dwóch rzeczywistych konfiguracji modeli. Ścieżka z jednym kandydatem również zmienia wynik. Ścieżka wyłączna z dwoma kandydatami daje ten sam ranking dla obu układów. To porównanie sprawdza mechanizm punktacji zero-shot w Transformers 4.55.0 i 5.23.0 na podstawie publicznych metadanych konfiguracji, bez inferencji modeli.

Oczekiwana i używana para

Potok klasyfikacji zero-shot tworzy przesłankę i hipotezę dla każdej etykiety kandydującej. Dokumentacja punktacji wieloetykietowej opisuje funkcję softmax obliczaną dla logitów wynikania i sprzeczności dla każdego kandydata. W obu sprawdzonych wersjach mechanizm punktacji znajduje wynikanie w label2id. Jako drugiej wartości używa ostatniego logitu, gdy wynikanie ma indeks 0, a w pozostałych przypadkach logitu o indeksie 0. Ta sama gałąź jest wykonywana, gdy jest tylko jeden kandydat. Dokumentacja punktacji · Mechanizm punktacji 4.55.0 · Mechanizm punktacji 5.23.0

Opublikowana konfiguracjaIndeks 0Indeks 1Indeks 2Logit w parze z wynikaniem
aiface/ModernBERT-large_nliWynikanieSprzecznośćNeutralnośćNeutralność
facebook/bart-large-mnliSprzecznośćNeutralnośćWynikanieSprzeczność

W obu konfiguracjach mapowania etykiet na indeksy i indeksów na etykiety są zgodne. Określają one zadeklarowane mapowanie. Eksperyment nie mierzy tego, czego nauczyły się poszczególne modele, ani tego, jak często ich rzeczywiste logity powodowałyby zmianę rankingu. Konfiguracja ModernBERT · Konfiguracja BART

Ranking zmienia się w kontrolowanym przykładzie testowym

Te same logity semantyczne uporządkowano według każdej z konfiguracji. Etykieta A ma wynikanie 2, sprzeczność 0 i neutralność 4. Etykieta B ma wynikanie 1, sprzeczność 2 i neutralność −1. Obliczenie referencyjne wykorzystuje dwie klasy wymienione w dokumentacji. Wyniki są zgodne w obu wersjach.

Ścieżka punktacjiEtykieta AEtykieta BWyższy wynik
Wynikanie i zadeklarowana sprzeczność0.8807970.268941A
Wieloetykietowa z mapowaniem ModernBERT0.1192030.880797B
Wieloetykietowa z mapowaniem BART0.8807970.268941A
Wyłączna dla dwóch kandydatów, oba mapowania0.7310590.268941A

Przy samej etykiecie A i domyślnym ustawieniu multi_label=False ta sama gałąź daje wynik 0,119203 dla mapowania ModernBERT i 0,880797 dla BART. Spośród wszystkich sześciu permutacji trzech różnych etykiet gałąź wieloetykietowa daje wyniki zgodne z zadeklarowaną pozycją sprzeczności dla trzech permutacji, a z pozycją neutralności dla pozostałych trzech. To sześć możliwych układów w przykładzie testowym. Liczba ta nie pozwala oszacować odsetka opublikowanych modeli, których dotyczy to zjawisko. Pełne wyniki

Na potrzeby oceny zero-shot zachowaj rewizję punktu kontrolnego, mapowanie klas, wersję biblioteki punktującej, liczbę kandydatów i ustawienie trybu wieloetykietowego. Zanim porównasz niezależne wyniki z różnych punktów kontrolnych, sprawdź, których logitów faktycznie używa ścieżka punktacji. Mapa etykiet musi opisywać kolejność wyjść istniejącej głowicy. Sama edycja konfiguracji nie zmienia położenia jej współrzędnych wyjściowych.

Odtwórz kontrolę

Uruchom python3 check.py | cmp - observations.json z włączonym wykrywaniem błędów w potoku powłoki i z dostępną biblioteką NumPy. Program sprawdzający weryfikuje bajty dwóch plików źródłowych potoku i dwóch plików konfiguracji modeli, o łącznym rozmiarze 27 139 bajtów. Wykonuje wyłącznie metody ustalania indeksu wynikania i przetwarzania końcowego wyników z przypiętych wersji, w małej klasie bez zależności od ich pakietów. Dostarcza tablice float32 przez interfejs oczekiwany dla tensorowych danych wejściowych mechanizmu punktacji. Niezależne obliczenie referencyjne wykorzystuje logistyczną postać funkcji softmax dla dwóch klas. Pakiet sprawdza redukcję i sortowanie wyników. Nie uruchamia tokenizatora, modelu, zbioru danych, pełnej inicjalizacji biblioteki ani testu porównawczego.

Repozytorium Transformers jest objęte licencją Apache 2.0. W dwóch kartach modeli wskazano odpowiednio licencje Apache 2.0 i MIT. Ten pakiet wykorzystuje publiczne informacje o mapach etykiet i identyfikatory. Program sprawdzający pobiera pliki źródłowe podczas działania i nie zawiera ich kopii, wag modeli, opisów z kart ani przykładów. Program sprawdzający · Licencja Transformers