# NLI 標籤索引改變時，零樣本分數可能隨之改變

將兩組虛構的三個 logit 依照兩個真實模型的設定排列，會得出相反的多標籤排名。只有一個候選標籤的路徑也會改變分數。兩個候選標籤互斥的路徑則在兩種排列下得出相同排名。這項比較使用公開設定中繼資料，測試 Transformers 4.55.0 與 5.23.0 的零樣本評分器，未進行模型推論。

## 預期配對與實際使用的配對

零樣本分類管線會為每個候選標籤建立前提與假設。其多標籤評分文件說明，會對每個候選標籤的蘊涵與矛盾 logit 進行 softmax 計算。在檢視的兩個版本中，評分器都會在 `label2id` 中尋找蘊涵。當蘊涵位於索引 0 時，評分器以最後一個 logit 作為另一個輸入；否則使用索引 0。只有一個候選標籤時，也會執行相同分支。[評分文件](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [4.55.0 評分器](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [5.23.0 評分器](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| 發布的設定 | 索引 0 | 索引 1 | 索引 2 | 與蘊涵配對的 logit |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | 蘊涵 | 矛盾 | 中立 | 中立 |
| facebook/bart-large-mnli | 矛盾 | 中立 | 蘊涵 | 矛盾 |

兩個設定的正向與反向標籤對應皆一致，確立了宣告的對應關係。這項實驗未測量各模型學到了什麼，也未測量其實際 logit 造成排名變化的頻率。[ModernBERT 設定](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [BART 設定](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## 受控測試資料中的排名變化

相同語意的 logit 依照各設定重新排列。標籤 A 的蘊涵為 2、矛盾為 0、中立為 4。標籤 B 的蘊涵為 1、矛盾為 2、中立為 −1。參考計算使用文件中指定的兩個類別。兩個版本的結果一致。

| 評分路徑 | 標籤 A | 標籤 B | 較高分數 |
| --- | ---: | ---: | --- |
| 蘊涵與宣告的矛盾 | 0.880797 | 0.268941 | A |
| 使用 ModernBERT 對應的多標籤評分 | 0.119203 | 0.880797 | B |
| 使用 BART 對應的多標籤評分 | 0.880797 | 0.268941 | A |
| 兩個候選標籤互斥，使用任一對應 | 0.731059 | 0.268941 | A |

只有標籤 A 且使用預設的 `multi_label=False` 時，相同分支使用 ModernBERT 對應得出 0.119203，使用 BART 對應則得出 0.880797。在三個不同標籤的全部六種排列中，多標籤分支有三種排列得出的分數與宣告的矛盾位置一致，另三種則與中立位置一致。這是測試資料中的六種可能排列，不能據此估計受影響的已發布模型占比。[完整輸出](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

進行零樣本評估時，請保留檢查點修訂版本、類別對應、評分程式庫版本、候選標籤數量與多標籤設定。比較不同檢查點各自的分數前，先確認評分路徑實際使用哪些 logit。標籤對應必須描述現有輸出層的輸出順序。單獨編輯設定不會改變其輸出座標。

## 重現檢查

啟用管線失敗檢查並備妥 NumPy，執行 `python3 check.py | cmp - observations.json`。檢查程式會驗證兩個管線原始碼檔案與兩個模型設定檔的位元組，共計 27,139 位元組。它只在一個小型類別中執行固定版本的蘊涵索引與分數後處理方法，不載入其套件相依項目。它透過評分器張量輸入所預期的介面提供 float32 陣列。獨立參考計算使用雙類別 softmax 的邏輯斯形式。此套件會執行分數歸約與排序，不會執行 tokenizer、模型、資料集、完整程式庫初始化或效能基準測試。

Transformers 儲存庫採用 Apache 2.0 授權。兩張模型卡標示的授權分別為 Apache 2.0 與 MIT。此套件使用公開的標籤對應事實與識別碼。檢查程式在執行時擷取上游檔案，未隨附上游原始碼、模型權重、模型卡文字或範例。[檢查程式](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Transformers 授權](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
