Hoppa till huvudinnehållet

Meny

Forskning

En zero-shot-poäng kan ändras när NLI-etiketternas index flyttas

Språk: Svenska

Två påhittade uppsättningar med tre logiter ger motsatt rangordning vid multietikettklassificering när de ordnas enligt två verkliga modellkonfigurationer. Även beräkningsvägen med en enda kandidat ändrar poängen. Den exklusiva beräkningsvägen med två kandidater ger samma rangordning för båda ordningarna. Jämförelsen testar poängberäkningen för zero-shot i Transformers 4.55.0 och 5.23.0 med offentlig konfigurationsmetadata och utan modellinferens.

Det förväntade paret och paret som används

Pipelinen för zero-shot-klassificering skapar en premiss och en hypotes för varje kandidatetikett. Dokumentationen för poängberäkning vid multietikettklassificering beskriver en softmax över logiterna för implikation och motsägelse för varje kandidat. I båda de granskade versionerna hittar poängberäkningen implikation i label2id. Den använder den sista logiten som den andra indata när implikation har index 0, och index 0 i övriga fall. Samma gren körs när det bara finns en kandidat. Dokumentation för poängberäkning · Poängberäkning i 4.55.0 · Poängberäkning i 5.23.0

Publicerad konfigurationIndex 0Index 1Index 2Logit som paras med implikation
aiface/ModernBERT-large_nliImplikationMotsägelseNeutralNeutral
facebook/bart-large-mnliMotsägelseNeutralImplikationMotsägelse

Båda konfigurationerna har överensstämmande mappningar från etikett till index och tillbaka. De fastställer den deklarerade mappningen. Experimentet mäter inte vad respektive modell har lärt sig eller hur ofta deras verkliga logiter skulle ge en ändrad rangordning. ModernBERT-konfiguration · BART-konfiguration

Rangordningen ändras i ett kontrollerat testfall

Samma semantiska logiter ordnades om enligt respektive konfiguration. Etikett A har implikation 2, motsägelse 0 och neutral 4. Etikett B har implikation 1, motsägelse 2 och neutral −1. Referensberäkningen använder de två klasser som anges i dokumentationen. Resultaten stämmer överens i båda versionerna.

BeräkningsvägEtikett AEtikett BHögst poäng
Implikation och deklarerad motsägelse0.8807970.268941A
Multietikett med ModernBERT-mappningen0.1192030.880797B
Multietikett med BART-mappningen0.8807970.268941A
Exklusiv med två kandidater, båda mappningarna0.7310590.268941A

Med enbart etikett A och standardvärdet multi_label=False ger samma gren 0.119203 för ModernBERT-mappningen och 0.880797 för BART. Av alla sex permutationer av de tre olika etiketterna ger multietikettgrenen poäng som överensstämmer med den deklarerade motsägelsepositionen för tre permutationer och med neutralpositionen för de tre övriga. Det är sex möjliga ordningar i ett testfall. Antalet uppskattar inte hur stor andel av publicerade modeller som påverkas. Fullständig utdata

För en zero-shot-utvärdering bör du bevara checkpointens revision, klassmappning, poängberäkningsbibliotekets version, antalet kandidater och multietikettinställningen. Kontrollera vilka logiter beräkningsvägen faktiskt använder innan du jämför oberoende poäng mellan checkpointer. En etikettmappning måste beskriva utdataordningen för det befintliga utdatahuvudet. Att enbart redigera konfigurationen flyttar inte dess utdatakoordinater.

Reproducera kontrollen

Kör python3 check.py | cmp - observations.json med kontroll av fel i pipelinen aktiverad och NumPy tillgängligt. Kontrollprogrammet verifierar byteinnehållet i två källkodsfiler för pipelinen och två modellkonfigurationsfiler, sammanlagt 27 139 byte. Det kör endast de versionslåsta metoderna för implikationsindex och efterbearbetning av poäng i en liten klass utan deras paketberoenden. Det tillhandahåller float32-arrayer via det gränssnitt som poängberäkningen förväntar sig från sina tensorindata. Den oberoende referensen använder den logistiska formen av softmax för två klasser. Paketet testar reducering och sortering av poäng. Det kör inte tokeniserare, modell, dataset, fullständig biblioteksinitiering eller prestandatest.

Transformers-repositoriet har licensen Apache 2.0. De två modellkortens licensangivelser var Apache 2.0 respektive MIT. Paketet använder de offentliga uppgifterna om etikettmappningar och identifierare. Kontrollprogrammet hämtar originalfilerna vid körning och innehåller ingen ursprunglig källkod, inga modellvikter, ingen löptext från modellkorten och inga exempel. Kontrollprogram · Transformers-licens