Investigación
¿Se pueden comparar dos puntuaciones de un benchmark?
Empieza por la decisión que deben respaldar las puntuaciones. Para citar un resultado histórico, identifica la tabla exacta que se publicó. Para elegir entre dos agentes, comprueba que se enfrentaron a los mismos casos con las mismas reglas y calcula la comparación a partir de esos resultados. Cuatro ejemplos públicos muestran por qué conviene hacer estas comprobaciones.
Identifica la tabla a la que remite la cita
LiveBench usó la misma etiqueta de clasificación, 2025-05-30, para dos tablas de origen distintas. En ambas tablas, fijadas a revisiones concretas, aparecen 30 etiquetas de modelos en común. Para 28 de ellas, al menos una de las dos puntuaciones de la categoría independiente Coding es mayor en la tabla posterior. Los responsables describen una nueva ejecución de Agentic Coding con cambios en el sistema de evaluación y en el límite de pasos. Las tablas de origen no permiten determinar la causa de los cambios en Coding. Guarda la revisión o el hash de la tabla junto a la cifra citada y conserva la fecha que figura como etiqueta del benchmark en un campo separado. Tabla anterior de LiveBench · Tabla posterior de LiveBench · Registro de cambios de los responsables
Haz coincidir los casos antes de comparar las tasas de éxito
Dos límites de recursos de ejemplo seleccionan, cada uno, 44 de las 66 tareas de Terminal-Bench v4.1.0. Solo 36 identificadores de tarea aparecen en ambas selecciones. Los límites son 4 CPU, 8192 MB de memoria y 10 240 MB de almacenamiento, o bien 2 CPU, 16 384 MB de memoria y 20 480 MB de almacenamiento. El filtro de recursos aplica cada límite a las declaraciones del entorno de la tarea y del entorno del verificador. Los resultados siguientes son ficticios. Configuración de recursos y filtro de Terminal-Bench
Imagina que el agente A resuelve 32 casos de la primera selección y el agente B resuelve 34 de la segunda. Cada selección contiene ocho casos que no están en el conjunto común. Por tanto, A podría haber resuelto entre 24 y 32 de los 36 casos compartidos, y B entre 26 y 34. Si A resolvió 32 casos compartidos y B resolvió 26, A llevaría seis de ventaja en el conjunto común. Si A resolvió 24 y B resolvió 34, B llevaría diez de ventaja. Ambos escenarios encajan con los totales indicados.
| Resultado ficticio | Casos resueltos en su propia selección de 44 | Casos que pudo resolver de los 36 compartidos |
|---|---|---|
| Agente A | 32 | 24–32 |
| Agente B | 34 | 26–34 |
En este ejemplo, los totales no determinan el orden en los casos compartidos. Pide los resultados de cada caso o evalúa a ambos agentes con la misma lista verificada. Si las ejecuciones usaron presupuestos de recursos distintos, describe el resultado como una comparación entre esas configuraciones. Para aislar el efecto de cambiar de agente, mantén constantes el presupuesto y las demás condiciones de ejecución. Fija el denominador común y decide cómo contar las ejecuciones ausentes, fallidas o sin calificar antes de ordenar a los agentes. Indica la cobertura resultante.
Comprueba que el evaluador usó los mismos datos de entrada
Las instantáneas de las pruebas de SWE-bench Verified de febrero y agosto de 2026 contienen los mismos 500 identificadores de caso. Dos commits de agosto eliminaron una entrada de prueba de regresión esperada en un caso de Astropy y cinco en uno de Django. Las revisiones aclaran qué cambió en las listas guardadas. Para medir el efecto sobre las puntuaciones, evalúa los mismos parches candidatos con ambas revisiones y mantén el resto de la configuración. Para comparar agentes, usa la misma revisión del conjunto de datos, el mismo evaluador, el mismo entorno de ejecución y las mismas opciones de evaluación. Instantánea de las pruebas de febrero · Instantánea de las pruebas de agosto · Primer cambio de SWE-bench · Segundo cambio de SWE-bench · Código del evaluador
Verifica el archivo por caso antes de usarlo
Every Eval Ever ofrece registros agregados y un índice por colección para encontrar resultados por muestra. En una revisión concreta del almacén de datos, ambas fuentes declaran valores SHA-256 distintos para los archivos de muestras asociados en las 14 entradas del índice MMLU-Pro y en las 11 del índice gsm8k. Para cada colección descargamos el primer archivo de muestras de la lista. Su hash coincidió con el del índice. La suma de verificación del registro agregado era distinta. Esta comprobación detecta una discrepancia en las sumas de verificación declaradas para los archivos. No determina si las puntuaciones son correctas ni qué causó la discrepancia. Índice MMLU-Pro · Índice GSM8K · Ejemplo de registro agregado de GSM8K
Conserva la ubicación inmutable del archivo y el hash verificado junto a los resultados emparejados que uses. Si las declaraciones del publicador se contradicen, resuelve la discrepancia antes de usar ese archivo como prueba de la puntuación.
Documenta la comparación
| Registro | Qué guardar |
|---|---|
| Resultado publicado | URL de origen, etiqueta del benchmark, revisión o hash de la tabla, métrica y unidad |
| Casos y ensayos | Revisión y partición del conjunto de datos, identificadores exactos de casos y ensayos, denominador y reglas de exclusión |
| Cómo se ejecutó el trabajo | Revisiones del agente y del modelo, herramientas, evaluador y configuración, presupuesto, identificador del entorno y hash de la imagen si está disponible |
| Evidencia | Salidas o resultados por caso, ubicaciones inmutables de los archivos y hashes verificados |
Limita las conclusiones de rendimiento a lo que respaldan tus registros. Para una cita histórica, identifica la fuente exacta. Para una comparación de agentes, comunica los resultados emparejados por caso y la cobertura en las condiciones descritas.