Přeskočit na hlavní obsah

Nabídka

Výzkum

Skóre zero-shot klasifikace se může změnit při změně indexů štítků NLI

Jazyk: Čeština

Dvě vymyšlené trojice logitů vedou při uspořádání podle dvou skutečných konfigurací modelů k opačnému pořadí při víceštítkové klasifikaci. Postup s jediným kandidátem také mění skóre. Postup se dvěma vzájemně se vylučujícími kandidáty dává při obou uspořádáních stejné pořadí. Toto srovnání testuje výpočet skóre zero-shot klasifikace v knihovně Transformers 4.55.0 a 5.23.0 pomocí veřejných metadat konfigurací a bez inference modelů.

Očekávaná a použitá dvojice

Proces zero-shot klasifikace vytváří pro každý kandidátní štítek premisu a hypotézu. Dokumentace víceštítkového skórování popisuje použití funkce softmax na logity implikace a kontradikce pro každého kandidáta. V obou zkoumaných verzích vyhledá výpočet skóre implikaci v label2id. Jako druhý vstup použije poslední logit, pokud je implikace na indexu 0, jinak použije index 0. Stejná větev se spustí i při jediném kandidátovi. Dokumentace skórování · Výpočet skóre ve verzi 4.55.0 · Výpočet skóre ve verzi 5.23.0

Zveřejněná konfiguraceIndex 0Index 1Index 2Logit spárovaný s implikací
aiface/ModernBERT-large_nliImplikaceKontradikceNeutrální vztahNeutrální vztah
facebook/bart-large-mnliKontradikceNeutrální vztahImplikaceKontradikce

Obě konfigurace mají vzájemně odpovídající přímé a zpětné mapování štítků. Stanovují deklarované mapování. Experiment neměří, co se jednotlivé modely naučily ani jak často by jejich skutečné logity vedly ke změně pořadí. Konfigurace ModernBERT · Konfigurace BART

Pořadí se v kontrolovaném testovacím příkladu mění

Stejné sémantické logity byly přeuspořádány podle jednotlivých konfigurací. Štítek A má logit implikace 2, kontradikce 0 a neutrálního vztahu 4. Štítek B má logit implikace 1, kontradikce 2 a neutrálního vztahu −1. Referenční výpočet používá dvě třídy uvedené v dokumentaci. Výsledky se v obou verzích shodují.

Postup výpočtu skóreŠtítek AŠtítek BVyšší skóre
Implikace a deklarovaná kontradikce0.8807970.268941A
Víceštítková klasifikace s mapováním ModernBERT0.1192030.880797B
Víceštítková klasifikace s mapováním BART0.8807970.268941A
Dva vzájemně se vylučující kandidáti, obě mapování0.7310590.268941A

Při použití pouze štítku A a výchozího nastavení multi_label=False dává stejná větev skóre 0,119203 pro mapování ModernBERT a 0,880797 pro BART. Ze všech šesti permutací tří různých štítků dává víceštítková větev u tří skóre odpovídající pozici deklarované kontradikce a u zbývajících tří pozici neutrálního vztahu. Jde o šest možných uspořádání v testovacím příkladu. Toto číslo neudává odhad podílu dotčených zveřejněných modelů. Úplný výstup

Pro vyhodnocení zero-shot klasifikace zachovejte revizi kontrolního bodu, mapování tříd, verzi knihovny pro výpočet skóre, počet kandidátů a nastavení víceštítkové klasifikace. Před porovnáním nezávislých skóre mezi kontrolními body ověřte, které logity postup výpočtu skutečně používá. Mapa štítků musí popisovat pořadí výstupů existující výstupní vrstvy. Samotná úprava konfigurace souřadnice jejího výstupu nezmění.

Zopakovat ověření

Spusťte python3 check.py | cmp - observations.json se zapnutou kontrolou selhání příkazové roury a dostupnou knihovnou NumPy. Ověřovací skript kontroluje bajty dvou zdrojových souborů klasifikačního procesu a dvou konfiguračních souborů modelů o celkové velikosti 27 139 bajtů. V malé třídě spouští pouze metody pevně určené verze pro zjištění indexu implikace a následné zpracování skóre, bez závislostí jejich balíčku. Dodává pole float32 prostřednictvím rozhraní, které výpočet skóre očekává od vstupních tenzorů. Nezávislý referenční výpočet používá logistický tvar funkce softmax pro dvě třídy. Balíček prověřuje redukci a řazení skóre. Nespouští tokenizér, model, datovou sadu, úplnou inicializaci knihovny ani benchmark.

Repozitář knihovny Transformers je dostupný pod licencí Apache 2.0. Karty obou modelů uváděly licence Apache 2.0 a MIT v tomto pořadí. Tento balíček používá veřejně dostupné údaje o mapování štítků a identifikátory. Ověřovací skript načítá původní soubory za běhu a neobsahuje žádný původní zdrojový kód, váhy modelů, texty karet ani příklady. Ověřovací skript · Licence Transformers