Pananaliksik
Maaaring magbago ang zero-shot score kapag nagbago ang mga index ng NLI label
Dalawang inimbentong set ng tig-tatlong logit ang nagbubunga ng magkasalungat na multi-label ranking kapag inayos gamit ang dalawang totoong configuration ng modelo. Binabago rin ng single-candidate path ang score. Pareho ang ranking ng dalawang ayos sa two-candidate exclusive path. Sinusuri ng paghahambing na ito ang zero-shot scorer sa Transformers 4.55.0 at 5.23.0 gamit ang pampublikong metadata ng configuration, nang walang model inference.
Ang inaasahang pares at ang ginamit na pares
Bumubuo ang zero-shot classification pipeline ng premise at hypothesis para sa bawat candidate label. Inilalarawan ng dokumentasyon ng multi-label scoring nito ang isang softmax sa entailment at contradiction logits para sa bawat candidate. Sa dalawang sinuring release, hinahanap ng scorer ang entailment sa label2id. Ginagamit nito ang huling logit bilang isa pang input kapag nasa index 0 ang entailment, at ang index 0 sa iba pang kaso. Ang parehong branch ang tumatakbo kapag iisa lang ang candidate. Dokumentasyon ng scoring · Scorer ng 4.55.0 · Scorer ng 5.23.0
| Na-publish na config | Index 0 | Index 1 | Index 2 | Logit na kapareha ng entailment |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |
Magkatugma ang forward at reverse label map ng dalawang config. Itinatakda ng mga ito ang idineklarang mapping. Hindi sinusukat ng eksperimento kung ano ang natutuhan ng kani-kanilang modelo o kung gaano kadalas magdudulot ng pagbabago sa rank ang mga tunay na logit ng mga ito. Config ng ModernBERT · Config ng BART
Nagbabago ang ranking sa isang kontroladong fixture
Inayos muli ang parehong semantic logits gamit ang bawat config. Ang label A ay may entailment na 2, contradiction na 0 at neutral na 4. Ang label B ay may entailment na 1, contradiction na 2 at neutral na −1. Ginagamit ng reference na kalkulasyon ang dalawang class na pinangalanan sa dokumentasyon. Magkatugma ang mga resulta sa dalawang release.
| Paraan ng pagmamarka | Label A | Label B | Mas mataas na score |
|---|---|---|---|
| Entailment at idineklarang contradiction | 0.880797 | 0.268941 | A |
| Multi-label gamit ang mapping ng ModernBERT | 0.119203 | 0.880797 | B |
| Multi-label gamit ang mapping ng BART | 0.880797 | 0.268941 | A |
| Two-candidate exclusive, alinmang mapping | 0.731059 | 0.268941 | A |
Kapag label A lang ang gamit at default na multi_label=False, nagbibigay ang parehong branch ng 0.119203 para sa mapping ng ModernBERT at 0.880797 para sa BART. Sa lahat ng anim na permutation ng tatlong magkakaibang label, nagbibigay ang multi-label branch ng mga score na tumutugma sa idineklarang puwesto ng contradiction para sa tatlong permutation at sa puwesto ng neutral para sa tatlo pa. Anim na posibleng ayos ang mga ito sa isang fixture. Hindi tinatantya ng bilang na ito ang proporsyon ng mga na-publish na modelong apektado. Buong output
Para sa zero-shot evaluation, panatilihin ang revision ng checkpoint, class mapping, bersyon ng scoring library, bilang ng candidate at multi-label setting. Suriin kung aling mga logit ang aktuwal na ginagamit ng scoring path bago ihambing ang mga independiyenteng score sa iba't ibang checkpoint. Kailangang ilarawan ng label map ang pagkakasunod-sunod ng output ng kasalukuyang head. Hindi nababago ng pag-edit sa config lamang ang mga coordinate ng output nito.
Ulitin ang pagsusuri
Patakbuhin ang python3 check.py | cmp - observations.json nang naka-enable ang pipeline failure checking at available ang NumPy. Bine-verify ng checker ang mga byte ng dalawang pipeline source file at dalawang model config file, na may kabuuang 27,139 byte. Ang naka-pin na entailment-index at score postprocessing method lamang ang pinapatakbo nito sa isang maliit na class na walang mga dependency ng package. Nagbibigay ito ng float32 array sa pamamagitan ng interface na inaasahan para sa mga tensor input ng scorer. Ginagamit ng independiyenteng reference ang logistic form ng two-class softmax. Sinusubukan ng package ang score reduction at sorting. Hindi nito pinapatakbo ang tokenizer, modelo, dataset, buong library initialization o benchmark.
Apache 2.0 ang lisensya ng repository ng Transformers. Apache 2.0 at MIT naman, ayon sa pagkakasunod, ang mga label ng lisensya sa dalawang model card. Ginagamit ng package na ito ang mga pampublikong katotohanan at identifier ng label map. Kinukuha ng checker ang mga upstream file sa runtime at walang kasamang upstream source, model weight, teksto ng card o mga halimbawa. Script para ulitin ang pagsusuri · Lisensya ng Transformers