研究
NLI 标签索引变化可能改变零样本分数
两组虚构的三维 logits 按照两个真实模型的配置排列后,得到相反的多标签排名。单候选标签路径的分数也会改变。双候选标签互斥路径在两种排列下给出相同排名。此比较使用公开配置元数据,检验 Transformers 4.55.0 和 5.23.0 中的零样本评分器,不运行模型推理。
预期的配对与实际使用的配对
零样本分类流水线会为每个候选标签构造前提和假设。其多标签评分文档说明,会对每个候选标签的蕴含和矛盾 logits 计算 softmax。在检查的两个版本中,评分器都在 label2id 中查找蕴含标签。当蕴含标签的索引为 0 时,它使用最后一个 logit 作为另一个输入;否则使用索引 0。只有一个候选标签时,也会执行同一分支。评分文档 · 4.55.0 评分器 · 5.23.0 评分器
| 公开配置 | 索引 0 | 索引 1 | 索引 2 | 与蕴含配对的 logit |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | 蕴含 | 矛盾 | 中立 | 中立 |
| facebook/bart-large-mnli | 矛盾 | 中立 | 蕴含 | 矛盾 |
两个配置的正向和反向标签映射均相互对应,确定了各自声明的映射关系。实验不衡量各模型学到了什么,也不衡量其真实 logits 多久会导致一次排名变化。ModernBERT 配置 · BART 配置
受控测试样例中的排名发生变化
使用各配置重新排列了语义相同的 logits。标签 A 的蕴含值为 2、矛盾值为 0、中立值为 4。标签 B 的蕴含值为 1、矛盾值为 2、中立值为 −1。参考计算使用文档中指定的两个类别。两个版本的结果一致。
| 评分路径 | 标签 A | 标签 B | 较高分数 |
|---|---|---|---|
| 蕴含与声明的矛盾类别 | 0.880797 | 0.268941 | A |
| 使用 ModernBERT 映射的多标签评分 | 0.119203 | 0.880797 | B |
| 使用 BART 映射的多标签评分 | 0.880797 | 0.268941 | A |
| 双候选标签互斥评分,使用任一映射 | 0.731059 | 0.268941 | A |
当只有标签 A 且采用默认设置 multi_label=False 时,同一分支在 ModernBERT 映射下给出 0.119203,在 BART 映射下给出 0.880797。在三个不同标签的全部六种排列中,多标签分支有三种排列的分数与声明的矛盾位置一致,另外三种则与中立位置一致。这是一个测试样例中六种可能的排列,不能据此估计受影响的公开模型所占比例。完整输出
进行零样本评估时,请保留检查点修订版本、类别映射、评分库版本、候选标签数量和多标签设置。比较不同检查点各自的分数之前,先检查评分路径实际使用了哪些 logits。标签映射必须描述现有输出头的输出顺序。仅修改配置不会改变其输出坐标。
复现检验
在启用管道失败检查且已安装 NumPy 的环境中运行 python3 check.py | cmp - observations.json。检验程序会验证两个流水线源文件和两个模型配置文件的字节内容,总计 27,139 字节。它在一个小型类中仅执行固定版本的蕴含索引方法和分数后处理方法,不依赖这些方法所属的软件包。它通过评分器预期的张量输入接口提供 float32 数组。独立参考计算采用二分类 softmax 的 logistic 形式。该程序包会运行分数归约和排序,但不会运行分词器、模型、数据集、完整库初始化或基准测试。
Transformers 代码仓库采用 Apache 2.0 许可证。两个模型卡标注的许可证分别为 Apache 2.0 和 MIT。此程序包使用公开的标签映射事实和标识符。检验程序在运行时获取上游文件,不包含上游源代码、模型权重、模型卡正文或示例。检验程序 · Transformers 许可证