Gå til hovedinnholdet

Meny

Forskning

En zero-shot-skår kan endres når indeksene for NLI-etiketter flyttes

Språk: Norsk bokmål

To konstruerte sett med tre logitverdier gir motsatte rangeringer med flere etiketter når de ordnes etter to reelle modellkonfigurasjoner. Beregningen med én kandidat endrer også skåren. Beregningen med to gjensidig utelukkende kandidater gir samme rangering for begge rekkefølgene. Sammenligningen tester zero-shot-skåringen i Transformers 4.55.0 og 5.23.0 med offentlig tilgjengelige konfigurasjonsmetadata og uten modellinferens.

Forventet par og brukt par

Pipelinen for zero-shot-klassifisering lager et premiss og en hypotese for hver kandidatet ​ikett. Dokumentasjonen for skåring med flere etiketter beskriver en softmax over logitverdiene for implikasjon og motsigelse for hver kandidat. I begge de undersøkte versjonene finner skåringsmetoden implikasjon i label2id. Den bruker den siste logitverdien som den andre inngangsverdien når implikasjon har indeks 0, og indeks 0 ellers. Samme gren kjøres når det bare er én kandidat. Dokumentasjon for skåring · Skåringsmetode i 4.55.0 · Skåringsmetode i 5.23.0

Publisert konfigurasjonIndeks 0Indeks 1Indeks 2Logitverdi paret med implikasjon
aiface/ModernBERT-large_nliImplikasjonMotsigelseNøytralNøytral
facebook/bart-large-mnliMotsigelseNøytralImplikasjonMotsigelse

Begge konfigurasjonene har samsvarende etikettkart i begge retninger. De fastslår den oppgitte tilordningen. Eksperimentet måler ikke hva de respektive modellene har lært, eller hvor ofte de faktiske logitverdiene deres ville ført til en endret rangering. ModernBERT-konfigurasjon · BART-konfigurasjon

Rangeringen endres i et kontrollert testoppsett

De samme semantiske logitverdiene ble omordnet etter hver av konfigurasjonene. Etikett A har implikasjon 2, motsigelse 0 og nøytral 4. Etikett B har implikasjon 1, motsigelse 2 og nøytral −1. Referanseberegningen bruker de to klassene som er angitt i dokumentasjonen. Resultatene stemmer overens i begge versjonene.

SkåringsmetodeEtikett AEtikett BHøyest skår
Implikasjon og oppgitt motsigelse0.8807970.268941A
Flere etiketter med ModernBERT-tilordningen0.1192030.880797B
Flere etiketter med BART-tilordningen0.8807970.268941A
To gjensidig utelukkende kandidater, begge tilordninger0.7310590.268941A

Med bare etikett A og standardinnstillingen multi_label=False gir samme gren 0,119203 for ModernBERT-tilordningen og 0,880797 for BART. Av alle de seks permutasjonene av de tre ulike etikettene gir grenen for flere etiketter skårer som samsvarer med den oppgitte plassen for motsigelse i tre permutasjoner og plassen for nøytral i de tre andre. Dette er seks mulige rekkefølger i et testoppsett. Antallet gir ikke noe estimat for hvor stor andel av publiserte modeller som er berørt. Fullstendig resultat

For en zero-shot-evaluering bør du bevare kontrollpunktets revisjon, klassetilordningen, versjonen av skåringsbiblioteket, antallet kandidater og innstillingen for flere etiketter. Sjekk hvilke logitverdier skåringsmetoden faktisk bruker før du sammenligner uavhengige skårer på tvers av kontrollpunkter. Et etikettkart må beskrive rekkefølgen på utdataene fra det eksisterende modellhodet. Å endre konfigurasjonen alene flytter ikke koordinatene i utdataene.

Gjenta testen

Kjør python3 check.py | cmp - observations.json med feilkontroll for pipelinen aktivert og NumPy tilgjengelig. Kontrollprogrammet verifiserer bytene i to kildefiler for pipelinen og to konfigurasjonsfiler for modellene, totalt 27 139 byte. Det kjører bare de fastlåste metodene for implikasjonsindeks og etterbehandling av skårer i en liten klasse uten pakkeavhengighetene deres. Det leverer float32-arrayer gjennom grensesnittet som forventes av tensorinngangene til skåringsmetoden. Den uavhengige referansen bruker den logistiske formen av softmax for to klasser. Pakken tester reduksjon og sortering av skårer. Den kjører ikke tokenizer, modell, datasett, full initialisering av biblioteket eller ytelsestest.

Transformers-repositoriet har Apache 2.0-lisens. De to modellkortene var merket med henholdsvis Apache 2.0 og MIT. Denne pakken bruker offentlig tilgjengelige fakta om etikettkart og identifikatorer. Kontrollprogrammet henter oppstrømsfilene ved kjøring og inkluderer ingen oppstrøms kildekode, modellvekter, tekst eller eksempler fra modellkortene. Kontrollprogram · Transformers-lisens