Recherche
Peut-on comparer deux scores de benchmark ?
Commencez par la décision que les scores doivent éclairer. Pour citer un résultat historique, identifiez le tableau exact qui a été publié. Pour choisir entre deux agents, vérifiez qu’ils ont traité les mêmes cas selon les mêmes règles, puis calculez la comparaison à partir de ces résultats. Quatre exemples publics montrent l’intérêt de ces vérifications.
Retrouver le tableau auquel renvoie la citation
LiveBench a utilisé le même libellé de classement, 2025-05-30, pour deux tableaux sources distincts. Ces deux tableaux, référencés par une révision précise, ont 30 libellés de modèles en commun. Pour 28 d’entre eux, au moins l’un des deux scores de la catégorie distincte Coding est plus élevé dans le tableau le plus récent. Les responsables indiquent avoir relancé Agentic Coding avec un autre dispositif d’évaluation et une limite d’étapes modifiée. Les tableaux sources ne permettent pas de déterminer la cause des changements dans Coding. Conservez la révision du tableau ou l’empreinte du fichier avec le chiffre cité, et notez séparément la date qui figure dans le libellé du benchmark. Premier tableau LiveBench · Tableau LiveBench plus récent · Journal des modifications des responsables
Apparier les cas avant de comparer les taux de réussite
Deux plafonds de ressources donnés en exemple sélectionnent chacun 44 des 66 tâches de Terminal-Bench v4.1.0. Seuls 36 identifiants de tâche figurent dans les deux sélections. Les plafonds sont de 4 processeurs, 8 192 Mo de mémoire et 10 240 Mo de stockage, ou de 2 processeurs, 16 384 Mo de mémoire et 20 480 Mo de stockage. Le filtre applique chaque plafond aux déclarations de l’environnement de la tâche et à celles de l’environnement de vérification. Les résultats qui suivent sont fictifs. Configuration et filtre des ressources de Terminal-Bench
Supposons que l’agent A résolve 32 cas de la première sélection et l’agent B, 34 cas de la seconde. Chaque sélection contient huit cas absents de l’ensemble commun. A a donc pu résoudre de 24 à 32 des 36 cas partagés, et B de 26 à 34. Si A a résolu 32 cas communs et B en a résolu 26, A devance B de six cas sur l’ensemble commun. Si A en a résolu 24 et B en a résolu 34, B devance A de dix cas. Les deux scénarios sont compatibles avec les totaux indiqués.
| Résultat fictif | Cas résolus dans sa propre sélection de 44 cas | Nombre possible de cas résolus parmi les 36 communs |
|---|---|---|
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |
Dans cet exemple, les totaux ne déterminent pas l’ordre sur les cas communs. Demandez les résultats par cas ou évaluez les deux agents sur la même liste vérifiée. Si les exécutions disposaient de budgets de ressources différents, présentez le résultat comme une comparaison de ces configurations. Pour isoler l’effet du changement d’agent, gardez le budget et les autres conditions d’exécution constants. Fixez le dénominateur commun et décidez comment compter les exécutions manquantes, échouées ou non évaluées avant de classer les agents. Indiquez la couverture obtenue.
Vérifier que le dispositif de notation a utilisé les mêmes entrées
Les instantanés des tests SWE-bench Verified de février et d’août 2026 contiennent les mêmes 500 identifiants de cas. Deux commits d’août ont supprimé une entrée de test de régression attendue pour un cas Astropy et cinq pour un cas Django. Les révisions établissent ce qui a changé dans les listes enregistrées. Pour mesurer l’effet sur les scores, notez les mêmes correctifs candidats avec les deux révisions, en gardant les autres réglages constants. Pour comparer les agents, utilisez la même révision du jeu de données, le même dispositif de notation, le même environnement d’exécution et les mêmes options d’évaluation. Instantané des tests de février · Instantané des tests d’août · Première modification de SWE-bench · Seconde modification de SWE-bench · Code du dispositif de notation
Vérifier le fichier des résultats par cas avant de l’utiliser
Every Eval Ever fournit des fiches agrégées et un index par collection pour retrouver les résultats par exemple. Pour une révision précise du dépôt de données, ces deux sources déclarent des valeurs SHA-256 différentes pour les fichiers d’exemples associés dans les 14 entrées de l’index MMLU-Pro et les 11 entrées de l’index gsm8k. Dans chaque collection, le premier fichier d’exemples de la liste a produit, après téléchargement, l’empreinte déclarée dans l’index. L’empreinte déclarée dans la fiche agrégée était différente. Cette vérification met en évidence une divergence au niveau des fichiers. Elle ne détermine ni la justesse des scores ni l’origine de la divergence. Index MMLU-Pro · Index GSM8K · Exemple de fiche agrégée GSM8K
Conservez l’adresse immuable du fichier ainsi que son empreinte vérifiée avec les résultats appariés que vous utilisez. Si les déclarations de l’éditeur se contredisent, résolvez la divergence avant de vous servir du fichier comme preuve du score.
Documenter la comparaison
| Élément | Informations à conserver |
|---|---|
| Résultat publié | URL source, libellé du benchmark, révision ou empreinte du tableau, métrique et unité |
| Cas et essais | Révision et partition du jeu de données, identifiants exacts des cas et des essais, dénominateur du score et règles d’exclusion |
| Conditions d’exécution | Révisions de l’agent et du modèle, outils, dispositif de notation et configuration, budget, identifiant de l’environnement et empreinte de l’image si disponible |
| Preuves | Sorties ou résultats par cas, adresses immuables des fichiers et empreintes vérifiées |
Tirez des conclusions sur les performances dans la limite de ce que vos documents établissent. Pour une citation historique, identifiez la source exacte. Pour comparer des agents, indiquez les résultats appariés par cas et la couverture dans les conditions décrites.