研究
NLI 標籤索引改變時,零樣本分數可能隨之改變
將兩組虛構的三個 logit 依照兩個真實模型的設定排列,會得出相反的多標籤排名。只有一個候選標籤的路徑也會改變分數。兩個候選標籤互斥的路徑則在兩種排列下得出相同排名。這項比較使用公開設定中繼資料,測試 Transformers 4.55.0 與 5.23.0 的零樣本評分器,未進行模型推論。
預期配對與實際使用的配對
零樣本分類管線會為每個候選標籤建立前提與假設。其多標籤評分文件說明,會對每個候選標籤的蘊涵與矛盾 logit 進行 softmax 計算。在檢視的兩個版本中,評分器都會在 label2id 中尋找蘊涵。當蘊涵位於索引 0 時,評分器以最後一個 logit 作為另一個輸入;否則使用索引 0。只有一個候選標籤時,也會執行相同分支。評分文件 · 4.55.0 評分器 · 5.23.0 評分器
| 發布的設定 | 索引 0 | 索引 1 | 索引 2 | 與蘊涵配對的 logit |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | 蘊涵 | 矛盾 | 中立 | 中立 |
| facebook/bart-large-mnli | 矛盾 | 中立 | 蘊涵 | 矛盾 |
兩個設定的正向與反向標籤對應皆一致,確立了宣告的對應關係。這項實驗未測量各模型學到了什麼,也未測量其實際 logit 造成排名變化的頻率。ModernBERT 設定 · BART 設定
受控測試資料中的排名變化
相同語意的 logit 依照各設定重新排列。標籤 A 的蘊涵為 2、矛盾為 0、中立為 4。標籤 B 的蘊涵為 1、矛盾為 2、中立為 −1。參考計算使用文件中指定的兩個類別。兩個版本的結果一致。
| 評分路徑 | 標籤 A | 標籤 B | 較高分數 |
|---|---|---|---|
| 蘊涵與宣告的矛盾 | 0.880797 | 0.268941 | A |
| 使用 ModernBERT 對應的多標籤評分 | 0.119203 | 0.880797 | B |
| 使用 BART 對應的多標籤評分 | 0.880797 | 0.268941 | A |
| 兩個候選標籤互斥,使用任一對應 | 0.731059 | 0.268941 | A |
只有標籤 A 且使用預設的 multi_label=False 時,相同分支使用 ModernBERT 對應得出 0.119203,使用 BART 對應則得出 0.880797。在三個不同標籤的全部六種排列中,多標籤分支有三種排列得出的分數與宣告的矛盾位置一致,另三種則與中立位置一致。這是測試資料中的六種可能排列,不能據此估計受影響的已發布模型占比。完整輸出
進行零樣本評估時,請保留檢查點修訂版本、類別對應、評分程式庫版本、候選標籤數量與多標籤設定。比較不同檢查點各自的分數前,先確認評分路徑實際使用哪些 logit。標籤對應必須描述現有輸出層的輸出順序。單獨編輯設定不會改變其輸出座標。
重現檢查
啟用管線失敗檢查並備妥 NumPy,執行 python3 check.py | cmp - observations.json。檢查程式會驗證兩個管線原始碼檔案與兩個模型設定檔的位元組,共計 27,139 位元組。它只在一個小型類別中執行固定版本的蘊涵索引與分數後處理方法,不載入其套件相依項目。它透過評分器張量輸入所預期的介面提供 float32 陣列。獨立參考計算使用雙類別 softmax 的邏輯斯形式。此套件會執行分數歸約與排序,不會執行 tokenizer、模型、資料集、完整程式庫初始化或效能基準測試。
Transformers 儲存庫採用 Apache 2.0 授權。兩張模型卡標示的授權分別為 Apache 2.0 與 MIT。此套件使用公開的標籤對應事實與識別碼。檢查程式在執行時擷取上游檔案,未隨附上游原始碼、模型權重、模型卡文字或範例。檢查程式 · Transformers 授權