Naar de hoofdinhoud

Menu

Onderzoek

Een zero-shotscore kan veranderen als de NLI-labelindices verschuiven

Taal: Nederlands

Twee fictieve sets van drie logits leveren een tegengestelde multilabelrangorde op wanneer ze worden gerangschikt volgens twee echte modelconfiguraties. Ook de score bij één kandidaat verandert. Bij twee exclusieve kandidaten leveren beide indelingen dezelfde rangorde op. Deze vergelijking test de zero-shotscorer in Transformers 4.55.0 en 5.23.0 met openbare configuratiemetadata en zonder modelinferentie.

Het verwachte en het gebruikte paar

De zero-shotclassificatiepipeline maakt voor elk kandidaatlabel een premisse en een hypothese. De documentatie over multilabelscoring beschrijft een softmax over de entailment- en contradictionlogits voor elke kandidaat. In beide onderzochte releases zoekt de scorer entailment op in label2id. Staat entailment op index 0, dan gebruikt de scorer de laatste logit als andere invoer; anders gebruikt hij index 0. Dezelfde tak wordt uitgevoerd als er maar één kandidaat is. Documentatie over scoring · Scorer in 4.55.0 · Scorer in 5.23.0

Gepubliceerde configuratieIndex 0Index 1Index 2Logit gekoppeld aan entailment
aiface/ModernBERT-large_nliEntailmentContradictionNeutralNeutral
facebook/bart-large-mnliContradictionNeutralEntailmentContradiction

Beide configuraties hebben overeenkomende labeltoewijzingen in beide richtingen. Ze leggen de opgegeven toewijzing vast. Het experiment meet niet wat de afzonderlijke modellen hebben geleerd of hoe vaak hun echte logits tot een andere rangorde zouden leiden. ModernBERT-configuratie · BART-configuratie

De rangorde verandert in een gecontroleerd testvoorbeeld

Dezelfde semantische logits zijn volgens elke configuratie opnieuw gerangschikt. Label A heeft entailment 2, contradiction 0 en neutral 4. Label B heeft entailment 1, contradiction 2 en neutral −1. De referentieberekening gebruikt de twee klassen die in de documentatie worden genoemd. De resultaten komen overeen in beide releases.

ScoringsmethodeLabel ALabel BHogere score
Entailment en opgegeven contradiction0.8807970.268941A
Multilabel met de ModernBERT-toewijzing0.1192030.880797B
Multilabel met de BART-toewijzing0.8807970.268941A
Twee exclusieve kandidaten, beide toewijzingen0.7310590.268941A

Met alleen label A en de standaardinstelling multi_label=False geeft dezelfde tak 0,119203 voor de ModernBERT-toewijzing en 0,880797 voor BART. Van alle zes permutaties van de drie verschillende labels geeft de multilabeltak bij drie permutaties scores die overeenkomen met de opgegeven positie van contradiction en bij de andere drie met de positie van neutral. Dit zijn zes mogelijke indelingen in een testvoorbeeld. Het aantal geeft geen schatting van het aandeel gepubliceerde modellen dat hierdoor wordt getroffen. Volledige uitvoer

Bewaar bij een zero-shotevaluatie de checkpointrevisie, klassetoewijzing, versie van de scoringsbibliotheek, het aantal kandidaten en de multilabelinstelling. Controleer welke logits de scoringsmethode daadwerkelijk gebruikt voordat je afzonderlijke scores tussen checkpoints vergelijkt. Een labeltoewijzing moet de uitvoervolgorde van de bestaande head beschrijven. Alleen de configuratie aanpassen verandert de uitvoercoördinaten niet.

De controle reproduceren

Voer python3 check.py | cmp - observations.json uit met controle op fouten in de pipeline ingeschakeld en NumPy beschikbaar. De checker controleert de bytes van twee pipelinebronbestanden en twee modelconfiguratiebestanden, in totaal 27.139 bytes. Hij voert alleen de vastgelegde methoden voor de entailmentindex en de nabewerking van scores uit, in een kleine klasse zonder hun pakketafhankelijkheden. Hij levert float32-arrays via de interface die wordt verwacht voor de tensorinvoer van de scorer. De onafhankelijke referentie gebruikt de logistische vorm van de softmax met twee klassen. Het pakket test het terugbrengen van de scores en het sorteren. Het voert geen tokenizer, model, dataset, volledige bibliotheekinitialisatie of benchmark uit.

De repository van Transformers valt onder Apache 2.0. De licenties op de twee modelkaarten waren respectievelijk Apache 2.0 en MIT. Dit pakket gebruikt de openbare feiten en identifiers van de labeltoewijzingen. De checker haalt de upstreambestanden tijdens het uitvoeren op en bevat geen upstreambroncode, modelgewichten, teksten uit modelkaarten of voorbeelden. Controlescript · Transformers-licentie