Penyelidikan
Skor zero-shot boleh berubah apabila indeks label NLI berubah
Dua set rekaan yang masing-masing mengandungi tiga logit menghasilkan kedudukan berbilang label yang bertentangan apabila disusun mengikut dua konfigurasi model sebenar. Laluan dengan satu calon juga mengubah skor. Laluan eksklusif dengan dua calon memberikan kedudukan yang sama bagi kedua-dua susunan. Perbandingan ini menguji penskor zero-shot dalam Transformers 4.55.0 dan 5.23.0 menggunakan metadata konfigurasi awam tanpa inferens model.
Pasangan yang dijangka dan yang digunakan
Saluran klasifikasi zero-shot membina premis dan hipotesis bagi setiap label calon. Dokumentasi penskoran berbilang label menerangkan softmax terhadap logit entailment dan contradiction bagi setiap calon. Dalam kedua-dua keluaran yang diperiksa, penskor mencari entailment dalam label2id. Penskor menggunakan logit terakhir sebagai input yang satu lagi apabila entailment berada pada indeks 0, dan indeks 0 dalam keadaan lain. Cabang yang sama digunakan apabila hanya ada satu calon. Dokumentasi penskoran · Penskor 4.55.0 · Penskor 5.23.0
| Konfigurasi diterbitkan | Indeks 0 | Indeks 1 | Indeks 2 | Logit yang dipasangkan dengan entailment |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |
Kedua-dua konfigurasi mempunyai peta label hadapan dan songsang yang sepadan. Peta ini menetapkan pemetaan yang diisytiharkan. Eksperimen ini tidak mengukur apa yang dipelajari oleh model masing-masing atau kekerapan logit sebenar model tersebut akan menghasilkan perubahan kedudukan. Konfigurasi ModernBERT · Konfigurasi BART
Kedudukan berubah dalam data ujian terkawal
Logit semantik yang sama disusun semula menggunakan setiap konfigurasi. Label A mempunyai entailment 2, contradiction 0 dan neutral 4. Label B mempunyai entailment 1, contradiction 2 dan neutral −1. Pengiraan rujukan menggunakan dua kelas yang dinamakan dalam dokumentasi. Hasilnya sepadan merentas kedua-dua keluaran.
| Laluan penskoran | Label A | Label B | Skor lebih tinggi |
|---|---|---|---|
| Entailment dan contradiction yang diisytiharkan | 0.880797 | 0.268941 | A |
| Berbilang label menggunakan pemetaan ModernBERT | 0.119203 | 0.880797 | B |
| Berbilang label menggunakan pemetaan BART | 0.880797 | 0.268941 | A |
| Eksklusif dua calon, mana-mana pemetaan | 0.731059 | 0.268941 | A |
Dengan label A sahaja dan multi_label=False lalai, cabang yang sama memberikan 0.119203 untuk pemetaan ModernBERT dan 0.880797 untuk BART. Merentas keenam-enam permutasi tiga label yang berbeza, cabang berbilang label memberikan skor yang konsisten dengan slot contradiction yang diisytiharkan bagi tiga permutasi dan slot neutral bagi tiga yang lain. Ini ialah enam susunan yang mungkin dalam data ujian. Bilangan ini tidak memberikan anggaran bahagian model yang diterbitkan yang terjejas. Output penuh
Untuk penilaian zero-shot, kekalkan revisi checkpoint, pemetaan kelas, versi pustaka penskoran, bilangan calon dan tetapan berbilang label. Semak logit yang sebenarnya digunakan oleh laluan penskoran sebelum membandingkan skor bebas antara checkpoint. Peta label perlu menerangkan urutan output head sedia ada. Mengedit konfigurasi sahaja tidak mengubah koordinat outputnya.
Hasilkan semula semakan
Jalankan python3 check.py | cmp - observations.json dengan semakan kegagalan pipeline didayakan dan NumPy tersedia. Penyemak mengesahkan bait dua fail sumber pipeline dan dua fail konfigurasi model, berjumlah 27,139 bait. Ia hanya melaksanakan kaedah indeks entailment dan pascapemprosesan skor yang dipinkan dalam kelas kecil tanpa kebergantungan pakejnya. Ia membekalkan tatasusunan float32 melalui antara muka yang dijangka daripada input tensor penskor. Rujukan bebas menggunakan bentuk logistik softmax dua kelas. Pakej ini menguji pengurangan skor dan pengisihan. Ia tidak menjalankan tokenizer, model, set data, pemulaan pustaka penuh atau penanda aras.
Repositori Transformers berlesen Apache 2.0. Label pada dua kad model masing-masing ialah Apache 2.0 dan MIT. Pakej ini menggunakan fakta dan pengecam peta label awam. Penyemak mengambil fail huluan pada masa jalan dan tidak menyertakan sumber huluan, pemberat model, teks kad atau contoh. Penyemak · Lesen Transformers