Forskning
En zero-shot-score kan ændre sig, når NLI-labelindekser flyttes
To konstruerede sæt med tre logits giver modsatrettede multilabel-rangeringer, når de placeres efter to faktiske modelkonfigurationer. Beregningen med én kandidat ændrer også scoren. Beregningen med to gensidigt udelukkende kandidater giver samme rangering for begge opstillinger. Sammenligningen tester zero-shot-beregningen i Transformers 4.55.0 og 5.23.0 ved hjælp af offentlige konfigurationsmetadata og uden modelinferens.
Det forventede par og det anvendte par
Pipelinen til zero-shot-klassifikation danner en præmis og en hypotese for hver kandidatlabel. Dokumentationen for multilabel-beregningen beskriver en softmax over logitterne for entailment og contradiction for hver kandidat. I begge undersøgte versioner finder beregningen entailment i label2id. Den bruger den sidste logit som det andet input, når entailment er på indeks 0, og ellers indeks 0. Samme gren bruges, når der kun er én kandidat. Dokumentation for beregning · Beregning i 4.55.0 · Beregning i 5.23.0
| Offentliggjort konfiguration | Indeks 0 | Indeks 1 | Indeks 2 | Logit parret med entailment |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |
Begge konfigurationer har overensstemmende fremadrettede og omvendte labeltilknytninger. De fastlægger den erklærede tilknytning. Eksperimentet måler ikke, hvad de enkelte modeller har lært, eller hvor ofte deres faktiske logits ville ændre rangeringen. ModernBERT-konfiguration · BART-konfiguration
Rangeringen ændrer sig i et kontrolleret testeksempel
De samme semantiske logits blev omarrangeret efter hver konfiguration. Label A har entailment 2, contradiction 0 og neutral 4. Label B har entailment 1, contradiction 2 og neutral −1. Referenceberegningen bruger de to klasser, der er angivet i dokumentationen. Resultaterne er ens i begge versioner.
| Beregningsmetode | Label A | Label B | Højeste score |
|---|---|---|---|
| Entailment og erklæret contradiction | 0.880797 | 0.268941 | A |
| Multilabel med ModernBERT-tilknytningen | 0.119203 | 0.880797 | B |
| Multilabel med BART-tilknytningen | 0.880797 | 0.268941 | A |
| To gensidigt udelukkende kandidater, begge tilknytninger | 0.731059 | 0.268941 | A |
Med kun label A og standardindstillingen multi_label=False giver samme gren 0.119203 for ModernBERT-tilknytningen og 0.880797 for BART. På tværs af alle seks permutationer af de tre forskellige labels giver multilabel-grenen scorer, der stemmer med den erklærede contradiction-position i tre permutationer og neutral-positionen i de tre andre. Det er seks mulige opstillinger i et testeksempel. Tallet giver intet estimat af, hvor stor en andel af de offentliggjorte modeller der er berørt. Komplet output
Ved en zero-shot-evaluering skal du bevare checkpointrevisionen, klassetilknytningen, versionen af beregningsbiblioteket, antallet af kandidater og multilabel-indstillingen. Kontrollér, hvilke logits beregningen faktisk bruger, før du sammenligner uafhængige scorer på tværs af checkpoints. En labeltilknytning skal beskrive outputrækkefølgen i det eksisterende modelhoved. En ændring af konfigurationen alene flytter ikke dets outputkoordinater.
Gentag kontrollen
Kør python3 check.py | cmp - observations.json med kontrol af fejl i pipelinen aktiveret og NumPy tilgængelig. Kontrolprogrammet verificerer bytene i to pipelinekildefiler og to modelkonfigurationsfiler på i alt 27.139 byte. Det kører kun de fastlåste metoder til efterbehandling af entailment-indeks og scorer i en lille klasse uden deres pakkeafhængigheder. Det leverer float32-arrays via den grænseflade, som beregningen forventer fra sine tensorinput. Den uafhængige reference bruger den logistiske form af softmax for to klasser. Pakken afprøver reduktion og sortering af scorer. Den kører ikke tokenizer, model, datasæt, fuld initialisering af biblioteket eller benchmark.
Transformers-repositoriet er under Apache 2.0. De to modelkort angav henholdsvis Apache 2.0 og MIT. Denne pakke bruger de offentlige oplysninger om labeltilknytninger og identifikatorer. Kontrolprogrammet henter de oprindelige filer under kørslen og indeholder ikke oprindelig kildekode, modelvægte, tekst fra modelkort eller eksempler. Kontrolprogram · Transformers-licens