Riset
Skor zero-shot dapat berubah saat indeks label NLI bergeser
Dua set logit rekaan yang masing-masing berisi tiga logit menghasilkan peringkat multi-label yang berlawanan saat disusun menurut dua konfigurasi model nyata. Jalur dengan satu kandidat juga mengubah skor. Jalur eksklusif dengan dua kandidat menghasilkan peringkat yang sama untuk kedua susunan. Perbandingan ini menguji penghitungan skor zero-shot di Transformers 4.55.0 dan 5.23.0 menggunakan metadata konfigurasi publik tanpa inferensi model.
Pasangan yang diharapkan dan yang digunakan
Pipeline klasifikasi zero-shot menyusun premis dan hipotesis untuk setiap label kandidat. Dokumentasi penghitungan skor multi-label menjelaskan softmax atas logit entailment dan contradiction untuk setiap kandidat. Pada kedua rilis yang diperiksa, penghitung skor menemukan entailment di label2id. Penghitung skor menggunakan logit terakhir sebagai input lain saat entailment berada di indeks 0, dan indeks 0 dalam kondisi lainnya. Cabang yang sama berjalan saat hanya ada satu kandidat. Dokumentasi penghitungan skor · Penghitung skor 4.55.0 · Penghitung skor 5.23.0
| Konfigurasi yang dipublikasikan | Indeks 0 | Indeks 1 | Indeks 2 | Logit yang dipasangkan dengan entailment |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |
Kedua konfigurasi memiliki pemetaan label maju dan balik yang sesuai. Keduanya menetapkan pemetaan yang dinyatakan. Eksperimen ini tidak mengukur apa yang dipelajari masing-masing model atau seberapa sering logit nyata dari model tersebut akan menghasilkan perubahan peringkat. Konfigurasi ModernBERT · Konfigurasi BART
Peringkat berubah dalam data uji terkendali
Logit semantik yang sama disusun ulang menggunakan masing-masing konfigurasi. Label A memiliki entailment 2, contradiction 0, dan neutral 4. Label B memiliki entailment 1, contradiction 2, dan neutral −1. Perhitungan referensi menggunakan dua kelas yang disebutkan dalam dokumentasi. Hasilnya sama pada kedua rilis.
| Jalur penghitungan skor | Label A | Label B | Skor lebih tinggi |
|---|---|---|---|
| Entailment dan contradiction yang dinyatakan | 0.880797 | 0.268941 | A |
| Multi-label dengan pemetaan ModernBERT | 0.119203 | 0.880797 | B |
| Multi-label dengan pemetaan BART | 0.880797 | 0.268941 | A |
| Eksklusif dua kandidat, dengan salah satu pemetaan | 0.731059 | 0.268941 | A |
Dengan hanya label A dan nilai default multi_label=False, cabang yang sama menghasilkan 0.119203 untuk pemetaan ModernBERT dan 0.880797 untuk BART. Dari seluruh enam permutasi ketiga label yang berbeda, cabang multi-label menghasilkan skor yang sesuai dengan posisi contradiction yang dinyatakan untuk tiga permutasi dan posisi neutral untuk tiga lainnya. Ini adalah enam susunan yang mungkin dalam data uji. Angka tersebut tidak memperkirakan proporsi model yang dipublikasikan dan terdampak. Output lengkap
Untuk evaluasi zero-shot, simpan revisi checkpoint, pemetaan kelas, versi pustaka penghitungan skor, jumlah kandidat, dan pengaturan multi-label. Periksa logit yang benar-benar digunakan jalur penghitungan skor sebelum membandingkan skor independen antar-checkpoint. Peta label harus menjelaskan urutan output head yang ada. Mengedit konfigurasi saja tidak mengubah koordinat output-nya.
Reproduksi pemeriksaan
Jalankan python3 check.py | cmp - observations.json dengan pemeriksaan kegagalan pipeline diaktifkan dan NumPy tersedia. Alat pemeriksa memverifikasi byte dari dua file sumber pipeline dan dua file konfigurasi model, dengan total 27.139 byte. Alat ini hanya menjalankan metode indeks entailment dan pascapemrosesan skor yang versinya telah ditetapkan dalam sebuah kelas kecil tanpa dependensi paketnya. Alat ini memasok array float32 melalui antarmuka yang diharapkan dari input tensor penghitung skor. Referensi independen menggunakan bentuk logistik dari softmax dua kelas. Paket ini menguji reduksi dan pengurutan skor. Paket ini tidak menjalankan tokenizer, model, dataset, inisialisasi pustaka secara penuh, atau benchmark.
Repositori Transformers menggunakan lisensi Apache 2.0. Label lisensi pada dua model card masing-masing adalah Apache 2.0 dan MIT. Paket ini menggunakan fakta dan pengenal peta label yang tersedia untuk umum. Alat pemeriksa mengambil file upstream saat dijalankan dan tidak menyertakan kode sumber upstream, bobot model, teks model card, atau contoh. Alat pemeriksa · Lisensi Transformers