# Si possono confrontare due punteggi di benchmark?

Parti dalla decisione che i punteggi devono aiutarti a prendere. Per citare un risultato storico, individua la tabella esatta che è stata pubblicata. Per scegliere tra due agenti, verifica che abbiano affrontato gli stessi casi con le stesse regole e calcola il confronto usando i risultati di quei casi. Quattro esempi pubblici mostrano perché questi controlli sono importanti.

## Individua la tabella a cui rimanda la citazione

LiveBench ha usato la stessa etichetta della classifica, `2025-05-30`, per due tabelle di origine diverse. Nelle due tabelle fissate a revisioni specifiche compaiono 30 etichette di modelli in comune. Per 28 di queste, almeno uno dei due punteggi della categoria distinta Coding è più alto nella tabella più recente. I responsabili riferiscono di aver rieseguito Agentic Coding con un sistema di valutazione e un limite di passaggi modificati. Dalle tabelle di origine non si può stabilire la causa delle variazioni in Coding. Salva la revisione della tabella o l’hash del file insieme al numero citato e conserva la data riportata nell’etichetta del benchmark in un campo separato. [Tabella LiveBench precedente](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Tabella LiveBench successiva](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Registro delle modifiche dei responsabili](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Abbina i casi prima di confrontare i tassi di successo

Due limiti di risorse esemplificativi selezionano, ciascuno, 44 dei 66 compiti di Terminal-Bench v4.1.0. Solo 36 ID dei compiti compaiono in entrambe le selezioni. I limiti sono 4 CPU, 8.192 MB di memoria e 10.240 MB di spazio di archiviazione, oppure 2 CPU, 16.384 MB di memoria e 20.480 MB di spazio di archiviazione. Il filtro applica ciascun limite ai valori dichiarati sia per l’ambiente del compito sia per quello del verificatore. I risultati che seguono sono fittizi. [Impostazioni e filtro delle risorse di Terminal-Bench](https://sapien1.com/it/research/terminal-bench-resource-settings)

Supponi che l’agente A risolva 32 casi nella prima selezione e l’agente B ne risolva 34 nella seconda. Ogni selezione contiene otto casi fuori dall’insieme comune. A potrebbe quindi aver risolto da 24 a 32 dei 36 casi condivisi e B da 26 a 34. Se A ha risolto 32 casi condivisi e B ne ha risolti 26, A sarebbe avanti di sei nell’insieme comune. Se A ne ha risolti 24 e B ne ha risolti 34, B sarebbe avanti di dieci. Entrambi gli scenari sono compatibili con i totali riportati.

| Risultato fittizio | Casi risolti nella selezione di 44 casi | Casi che potrebbe aver risolto tra i 36 condivisi |
| --- | ---: | ---: |
| Agente A | 32 | 24–32 |
| Agente B | 34 | 26–34 |

In questo esempio, i totali non determinano l’ordine sui casi condivisi. Chiedi gli esiti per singolo caso o valuta entrambi gli agenti sulla stessa lista di casi verificata. Se le esecuzioni hanno usato budget di risorse diversi, descrivi il risultato come un confronto tra quelle configurazioni. Per isolare l’effetto del cambio di agente, mantieni invariati il budget e le altre condizioni di esecuzione. Stabilisci il denominatore comune e decidi come contare le esecuzioni mancanti, fallite o prive di valutazione prima di classificare gli agenti. Riporta la copertura risultante.

## Verifica che il valutatore abbia usato gli stessi dati di ingresso

Le istantanee dei test di SWE-bench Verified di febbraio e agosto 2026 contengono gli stessi 500 ID dei casi. Due commit di agosto hanno rimosso una voce di test di regressione previsto per un caso Astropy e cinque per un caso Django. Le revisioni stabiliscono quali voci sono cambiate nelle liste salvate. Per misurare l’impatto sui punteggi, valuta le stesse patch candidate con entrambe le revisioni e mantieni invariate le altre impostazioni. Per confrontare gli agenti, usa la stessa revisione del set di dati, lo stesso valutatore, lo stesso ambiente di esecuzione e le stesse opzioni di valutazione. [Istantanea dei test di febbraio](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Istantanea dei test di agosto](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Prima modifica di SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Seconda modifica di SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Codice del valutatore](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Verifica il file dei singoli casi prima di usarlo

Every Eval Ever offre record aggregati e un indice per raccolta per trovare i risultati dei singoli esempi. In una revisione specifica dell’archivio, le due fonti dichiarano valori SHA-256 diversi per i file degli esempi associati in tutte le 14 voci dell’indice `MMLU-Pro` e in tutte le 11 voci dell’indice `gsm8k`. Per ciascuna raccolta, il primo file di esempi dell’elenco, una volta scaricato, aveva lo stesso hash indicato nell’indice. Il checksum del record aggregato era diverso. La verifica rileva una discrepanza a livello di file. Non stabilisce se i punteggi siano corretti né quale sia la causa della discrepanza. [Indice MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Indice GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Esempio di record aggregato GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Conserva la posizione immutabile del file e l’hash verificato insieme ai risultati abbinati che usi. Se le dichiarazioni dell’editore sono in conflitto, risolvi la discrepanza prima di usare quel file come prova del punteggio.

## Documenta il confronto

| Voce | Cosa salvare |
| --- | --- |
| Risultato pubblicato | URL della fonte, etichetta del benchmark, revisione o hash della tabella, metrica e unità |
| Casi e prove | Revisione e partizione del set di dati, ID esatti di casi e prove, denominatore del punteggio e regole di esclusione |
| Condizioni di esecuzione | Revisioni di agente e modello, strumenti, valutatore e configurazione, budget, ID dell’ambiente e hash dell’immagine, se disponibile |
| Evidenze | Output o esiti per caso, posizioni immutabili dei file e hash verificati |

Trai conclusioni sulle prestazioni nei limiti di ciò che i dati raccolti permettono di sostenere. Per una citazione storica, identifica la fonte esatta. Per confrontare gli agenti, riporta i risultati abbinati per caso e la copertura nelle condizioni dichiarate.
