# Uma pontuação zero-shot pode mudar quando os índices dos rótulos de NLI mudam

Dois conjuntos fictícios de três logits produzem classificações multirrótulo opostas quando organizados conforme duas configurações reais de modelos. O caminho com um único candidato também altera a pontuação. O caminho exclusivo com dois candidatos gera a mesma classificação nas duas organizações. Esta comparação testa o cálculo de pontuações zero-shot no Transformers 4.55.0 e 5.23.0 usando metadados públicos de configuração, sem inferência de modelos.

## O par esperado e o par usado

O pipeline de classificação zero-shot constrói uma premissa e uma hipótese para cada rótulo candidato. Sua documentação de pontuação multirrótulo descreve uma softmax sobre os logits de implicação e contradição de cada candidato. Nas duas versões inspecionadas, o método de pontuação encontra a implicação em `label2id`. Ele usa o último logit como outra entrada quando a implicação está no índice 0 e o índice 0 nos demais casos. O mesmo ramo é executado quando há apenas um candidato. [Documentação de pontuação](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [Método de pontuação da versão 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [Método de pontuação da versão 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| Configuração publicada | Índice 0 | Índice 1 | Índice 2 | Logit pareado com implicação |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Implicação | Contradição | Neutro | Neutro |
| facebook/bart-large-mnli | Contradição | Neutro | Implicação | Contradição |

As duas configurações têm mapeamentos direto e inverso de rótulos correspondentes. Eles estabelecem o mapeamento declarado. O experimento não mede o que os respectivos modelos aprenderam nem com que frequência seus logits reais produziriam uma mudança na classificação. [Configuração do ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [Configuração do BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## A classificação muda em um cenário controlado

Os mesmos logits semânticos foram reorganizados conforme cada configuração. O rótulo A tem implicação 2, contradição 0 e neutro 4. O rótulo B tem implicação 1, contradição 2 e neutro −1. O cálculo de referência usa as duas classes indicadas na documentação. Os resultados coincidem nas duas versões.

| Caminho de pontuação | Rótulo A | Rótulo B | Maior pontuação |
| --- | ---: | ---: | --- |
| Implicação e contradição declarada | 0.880797 | 0.268941 | A |
| Multirrótulo com o mapeamento do ModernBERT | 0.119203 | 0.880797 | B |
| Multirrótulo com o mapeamento do BART | 0.880797 | 0.268941 | A |
| Exclusivo com dois candidatos, em ambos os mapeamentos | 0.731059 | 0.268941 | A |

Com apenas o rótulo A e o padrão `multi_label=False`, o mesmo ramo produz 0.119203 para o mapeamento do ModernBERT e 0.880797 para o BART. Nas seis permutações dos três rótulos distintos, o ramo multirrótulo produz pontuações consistentes com a posição declarada para contradição em três permutações e com a posição de neutro nas outras três. São seis organizações possíveis em um cenário de teste. Esse número não estima a proporção de modelos publicados afetados. [Saída completa](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

Para uma avaliação zero-shot, preserve a revisão do checkpoint, o mapeamento de classes, a versão da biblioteca de pontuação, a quantidade de candidatos e a configuração multirrótulo. Verifique quais logits o caminho de pontuação realmente usa antes de comparar pontuações independentes entre checkpoints. Um mapa de rótulos precisa descrever a ordem de saída da camada de classificação existente. Editar apenas a configuração não altera as coordenadas dessa saída.

## Reproduza a verificação

Execute `python3 check.py | cmp - observations.json` com a verificação de falhas do pipeline ativada e o NumPy disponível. O verificador confere os bytes de dois arquivos de código-fonte do pipeline e dois arquivos de configuração de modelos, que somam 27.139 bytes. Ele executa apenas os métodos fixados de índice de implicação e pós-processamento de pontuação em uma pequena classe, sem as dependências dos respectivos pacotes. Ele fornece arrays float32 pela interface esperada para as entradas de tensor do método de pontuação. A referência independente usa a forma logística da softmax de duas classes. O pacote exercita a redução e a ordenação das pontuações. Ele não executa tokenizador, modelo, conjunto de dados, inicialização completa da biblioteca nem benchmark.

O repositório do Transformers tem licença Apache 2.0. Os rótulos de licença dos dois cartões de modelo eram Apache 2.0 e MIT, respectivamente. Este pacote usa os fatos e identificadores públicos dos mapas de rótulos. O verificador busca os arquivos originais em tempo de execução e não inclui código-fonte original, pesos de modelos, textos dos cartões nem exemplos. [Verificador](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [Licença do Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
