Pesquisa
Uma pontuação zero-shot pode mudar quando os índices dos rótulos de NLI mudam
Dois conjuntos fictícios de três logits produzem classificações multirrótulo opostas quando organizados conforme duas configurações reais de modelos. O caminho com um único candidato também altera a pontuação. O caminho exclusivo com dois candidatos gera a mesma classificação nas duas organizações. Esta comparação testa o cálculo de pontuações zero-shot no Transformers 4.55.0 e 5.23.0 usando metadados públicos de configuração, sem inferência de modelos.
O par esperado e o par usado
O pipeline de classificação zero-shot constrói uma premissa e uma hipótese para cada rótulo candidato. Sua documentação de pontuação multirrótulo descreve uma softmax sobre os logits de implicação e contradição de cada candidato. Nas duas versões inspecionadas, o método de pontuação encontra a implicação em label2id. Ele usa o último logit como outra entrada quando a implicação está no índice 0 e o índice 0 nos demais casos. O mesmo ramo é executado quando há apenas um candidato. Documentação de pontuação · Método de pontuação da versão 4.55.0 · Método de pontuação da versão 5.23.0
| Configuração publicada | Índice 0 | Índice 1 | Índice 2 | Logit pareado com implicação |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Implicação | Contradição | Neutro | Neutro |
| facebook/bart-large-mnli | Contradição | Neutro | Implicação | Contradição |
As duas configurações têm mapeamentos direto e inverso de rótulos correspondentes. Eles estabelecem o mapeamento declarado. O experimento não mede o que os respectivos modelos aprenderam nem com que frequência seus logits reais produziriam uma mudança na classificação. Configuração do ModernBERT · Configuração do BART
A classificação muda em um cenário controlado
Os mesmos logits semânticos foram reorganizados conforme cada configuração. O rótulo A tem implicação 2, contradição 0 e neutro 4. O rótulo B tem implicação 1, contradição 2 e neutro −1. O cálculo de referência usa as duas classes indicadas na documentação. Os resultados coincidem nas duas versões.
| Caminho de pontuação | Rótulo A | Rótulo B | Maior pontuação |
|---|---|---|---|
| Implicação e contradição declarada | 0.880797 | 0.268941 | A |
| Multirrótulo com o mapeamento do ModernBERT | 0.119203 | 0.880797 | B |
| Multirrótulo com o mapeamento do BART | 0.880797 | 0.268941 | A |
| Exclusivo com dois candidatos, em ambos os mapeamentos | 0.731059 | 0.268941 | A |
Com apenas o rótulo A e o padrão multi_label=False, o mesmo ramo produz 0.119203 para o mapeamento do ModernBERT e 0.880797 para o BART. Nas seis permutações dos três rótulos distintos, o ramo multirrótulo produz pontuações consistentes com a posição declarada para contradição em três permutações e com a posição de neutro nas outras três. São seis organizações possíveis em um cenário de teste. Esse número não estima a proporção de modelos publicados afetados. Saída completa
Para uma avaliação zero-shot, preserve a revisão do checkpoint, o mapeamento de classes, a versão da biblioteca de pontuação, a quantidade de candidatos e a configuração multirrótulo. Verifique quais logits o caminho de pontuação realmente usa antes de comparar pontuações independentes entre checkpoints. Um mapa de rótulos precisa descrever a ordem de saída da camada de classificação existente. Editar apenas a configuração não altera as coordenadas dessa saída.
Reproduza a verificação
Execute python3 check.py | cmp - observations.json com a verificação de falhas do pipeline ativada e o NumPy disponível. O verificador confere os bytes de dois arquivos de código-fonte do pipeline e dois arquivos de configuração de modelos, que somam 27.139 bytes. Ele executa apenas os métodos fixados de índice de implicação e pós-processamento de pontuação em uma pequena classe, sem as dependências dos respectivos pacotes. Ele fornece arrays float32 pela interface esperada para as entradas de tensor do método de pontuação. A referência independente usa a forma logística da softmax de duas classes. O pacote exercita a redução e a ordenação das pontuações. Ele não executa tokenizador, modelo, conjunto de dados, inicialização completa da biblioteca nem benchmark.
O repositório do Transformers tem licença Apache 2.0. Os rótulos de licença dos dois cartões de modelo eram Apache 2.0 e MIT, respectivamente. Este pacote usa os fatos e identificadores públicos dos mapas de rótulos. O verificador busca os arquivos originais em tempo de execução e não inclui código-fonte original, pesos de modelos, textos dos cartões nem exemplos. Verificador · Licença do Transformers