Pular para o conteúdo principal

Menu

Pesquisa

Dá para comparar duas pontuações de benchmark?

Idioma: Português (Brasil)

Comece pela decisão que as pontuações devem embasar. Para citar um resultado histórico, identifique a tabela exata que foi publicada. Para escolher entre dois agentes, confira se eles enfrentaram os mesmos casos sob as mesmas regras e compare os resultados desses casos. Quatro exemplos públicos mostram por que vale a pena fazer essas verificações.

Encontre a tabela a que a citação se refere

O LiveBench usou o mesmo rótulo na classificação, 2025-05-30, para duas tabelas de origem diferentes. Nas duas tabelas, fixadas em revisões específicas, há 30 rótulos de modelos em comum. Para 28 deles, pelo menos uma das duas pontuações da categoria separada Coding é maior na tabela mais recente. Os responsáveis relatam que executaram novamente o Agentic Coding com mudanças no sistema de avaliação e no limite de etapas. As tabelas de origem não explicam a causa das mudanças na categoria Coding. Guarde a revisão da tabela ou o hash do arquivo junto com o número citado e registre separadamente a data que aparece no rótulo do benchmark. Tabela anterior do LiveBench · Tabela posterior do LiveBench · Histórico de mudanças dos responsáveis

Use os mesmos casos para comparar as taxas de sucesso

Dois limites de recursos usados como exemplo selecionam, cada um, 44 das 66 tarefas do Terminal-Bench v4.1.0. Apenas 36 IDs de tarefa aparecem nas duas seleções. Os limites são 4 CPUs, 8.192 MB de memória e 10.240 MB de armazenamento, ou 2 CPUs, 16.384 MB de memória e 20.480 MB de armazenamento. O filtro aplica cada limite às declarações dos ambientes da tarefa e do verificador. Os resultados a seguir são fictícios. Configurações e filtro de recursos do Terminal-Bench

Imagine que o agente A resolva 32 casos na primeira seleção e o agente B resolva 34 na segunda. Cada seleção tem oito casos fora do conjunto comum. Assim, A pode ter resolvido de 24 a 32 dos 36 casos compartilhados, e B, de 26 a 34. Se A resolveu 32 casos compartilhados e B resolveu 26, A ficaria seis casos à frente no conjunto comum. Se A resolveu 24 e B resolveu 34, B ficaria dez casos à frente. Os dois cenários são compatíveis com os totais informados.

Resultado fictícioCasos resolvidos na própria seleção de 44Casos que pode ter resolvido entre os 36 compartilhados
Agente A3224–32
Agente B3426–34

Neste exemplo, os totais não determinam quem ficou à frente nos casos compartilhados. Peça os resultados por caso ou avalie os dois agentes usando a mesma lista verificada. Se as execuções usaram orçamentos de recursos diferentes, apresente o resultado como uma comparação entre essas configurações. Para isolar o efeito da troca de agente, mantenha o orçamento e as demais condições de execução. Antes de classificar os agentes, defina o denominador comum e decida como contar as execuções ausentes, com falha ou sem avaliação. Informe a cobertura resultante.

Confira se o avaliador usou as mesmas entradas

As versões de testes do SWE-bench Verified de fevereiro e agosto de 2026 contêm os mesmos 500 IDs de casos. Dois commits de agosto removeram uma entrada de teste de regressão esperada de um caso do Astropy e cinco de um caso do Django. As revisões mostram o que mudou nas listas armazenadas. Para medir o efeito nas pontuações, avalie os mesmos patches candidatos com as duas revisões e mantenha as demais configurações fixas. Para comparar agentes, use a mesma revisão do conjunto de dados, o mesmo avaliador, o mesmo ambiente de execução e as mesmas opções de avaliação. Versão dos testes de fevereiro · Versão dos testes de agosto · Primeira mudança no SWE-bench · Segunda mudança no SWE-bench · Código do avaliador

Verifique o arquivo com os resultados por caso antes de usá-lo

O Every Eval Ever oferece registros agregados e um índice por coleção para localizar os resultados por amostra. Em uma revisão específica do repositório de dados, as duas fontes declaram valores SHA-256 diferentes para os arquivos de amostras associados em todas as 14 entradas do índice MMLU-Pro e em todas as 11 entradas do índice gsm8k. Baixamos o primeiro arquivo de amostras da lista de cada coleção. O hash de cada arquivo coincidiu com o valor informado no índice. O hash do registro agregado era diferente. Essa verificação identifica uma divergência nos hashes informados para os arquivos. Ela não determina se as pontuações estão corretas nem qual foi a causa da divergência. Índice MMLU-Pro · Índice GSM8K · Exemplo de registro agregado do GSM8K

Guarde a localização imutável do arquivo e o hash verificado junto com os resultados pareados que você usa. Se as informações publicadas forem conflitantes, resolva a divergência antes de usar o arquivo como evidência da pontuação.

Registre a comparação

RegistroO que guardar
Resultado publicadoURL da fonte, rótulo do benchmark, revisão ou hash da tabela, métrica e unidade
Casos e tentativasRevisão e partição do conjunto de dados, IDs exatos dos casos e das tentativas, denominador e regras de exclusão
Condições de execuçãoRevisões do agente e do modelo, ferramentas, avaliador e configuração, orçamento, identificador do ambiente e hash da imagem, quando disponível
EvidênciasSaídas ou resultados por caso, locais imutáveis dos arquivos e hashes verificados

Limite suas conclusões sobre desempenho ao que os registros sustentam. Para uma citação histórica, identifique a fonte exata. Para comparar agentes, informe os resultados pareados por caso e a cobertura nas condições descritas.