研究
NLIラベルのインデックスが変わると、ゼロショットスコアが変わることがあります
実在する2つのモデル設定に合わせて、各3個のロジットからなる架空の2組を並べ替えると、マルチラベルの順位が逆転します。候補が1つの場合もスコアが変わります。候補が2つの排他的な場合は、どちらの並びでも順位は同じです。この比較では、公開されている設定メタデータを使い、モデル推論を行わずに、Transformers 4.55.0と5.23.0のゼロショットスコアラーを検証します。
想定される組み合わせと実際に使われる組み合わせ
ゼロショット分類パイプラインは、候補ラベルごとに前提と仮説を作成します。マルチラベルのスコアリングに関するドキュメントでは、各候補の含意と矛盾のロジットに対してsoftmaxを適用すると説明しています。調査した両リリースでは、スコアラーはlabel2idから含意を見つけます。含意がインデックス0にある場合は最後のロジットをもう一方の入力として使い、それ以外の場合はインデックス0を使います。候補が1つだけの場合も同じ分岐が実行されます。スコアリングのドキュメント · 4.55.0のスコアラー · 5.23.0のスコアラー
| 公開設定 | インデックス0 | インデックス1 | インデックス2 | 含意と組み合わせるロジット |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | 含意 | 矛盾 | 中立 | 中立 |
| facebook/bart-large-mnli | 矛盾 | 中立 | 含意 | 矛盾 |
どちらの設定でも、ラベルからIDへの対応とIDからラベルへの対応は一致しています。これにより、宣言された対応関係を確認できます。この実験では、各モデルが何を学習したかや、実際のロジットでどの程度の頻度で順位が変わるかは測定していません。ModernBERTの設定 · BARTの設定
制御されたテストデータで順位が変化
意味的に同じロジットを、各設定に合わせて並べ替えました。ラベルAは含意が2、矛盾が0、中立が4です。ラベルBは含意が1、矛盾が2、中立が−1です。基準となる計算には、ドキュメントに記載された2つのクラスを使います。結果は両リリースで一致しました。
| スコアリングの経路 | ラベルA | ラベルB | スコアが高いラベル |
|---|---|---|---|
| 含意と宣言された矛盾 | 0.880797 | 0.268941 | A |
| ModernBERTの対応関係を使ったマルチラベル | 0.119203 | 0.880797 | B |
| BARTの対応関係を使ったマルチラベル | 0.880797 | 0.268941 | A |
| 候補2つの排他的な場合、どちらの対応関係でも | 0.731059 | 0.268941 | A |
ラベルAのみで、デフォルトのmulti_label=Falseを使う場合、同じ分岐によるスコアはModernBERTの対応関係では0.119203、BARTでは0.880797になります。異なる3つのラベルの全6通りの並びのうち、マルチラベルの分岐では3通りで宣言された矛盾の位置に対応するスコアが得られ、残る3通りでは中立の位置に対応するスコアが得られます。これらはテストデータにおける6通りの並びです。この数から、影響を受ける公開モデルの割合は推定できません。出力の全文
ゼロショット評価では、チェックポイントのリビジョン、クラスの対応関係、スコアリングライブラリのバージョン、候補数、マルチラベル設定を記録しておきましょう。チェックポイント間で個別のスコアを比較する前に、スコアリング経路が実際にどのロジットを使っているか確認してください。ラベルの対応表は、既存のヘッドの出力順序を表す必要があります。設定を編集するだけでは、出力座標は移動しません。
検証を再現する
パイプラインの失敗を検出する設定を有効にし、NumPyを利用できる状態でpython3 check.py | cmp - observations.jsonを実行します。チェッカーは2つのパイプラインソースファイルと2つのモデル設定ファイルのバイト列を検証します。合計は27,139バイトです。固定されたバージョンの含意インデックス取得メソッドとスコア後処理メソッドのみを、パッケージの依存関係を使わずに小さなクラス内で実行します。スコアラーがテンソル入力に期待するインターフェースを介して、float32配列を渡します。独立した基準計算には、2クラスsoftmaxのロジスティック形式を使います。このパッケージでは、スコアの集約と並べ替えを検証します。トークナイザー、モデル、データセット、ライブラリ全体の初期化、ベンチマークは実行しません。
TransformersのリポジトリはApache 2.0ライセンスです。2つのモデルカードに記載されたライセンスは、それぞれApache 2.0とMITでした。このパッケージでは、公開されているラベル対応関係の事実と識別子を使います。チェッカーは実行時に上流のファイルを取得し、上流のソース、モデルの重み、モデルカードの本文、例は同梱しません。チェッカー · Transformersのライセンス