# Se pot compara două scoruri de benchmark?

Începe cu decizia pe care trebuie să o susțină scorurile. Pentru a cita un rezultat istoric, identifică exact tabelul publicat. Pentru a alege între doi agenți, verifică dacă au întâlnit aceleași cazuri, cu aceleași reguli, apoi compară rezultatele obținute în acele cazuri. Patru exemple publice arată de ce contează aceste verificări.

## Găsește tabelul la care se referă citarea

LiveBench a folosit aceeași etichetă de clasament, `2025-05-30`, pentru două tabele sursă diferite. Cele două tabele, fixate la revizii precise, au 30 de etichete de model în comun. Pentru 28 dintre ele, cel puțin unul dintre cele două scoruri din categoria separată Coding este mai mare în tabelul ulterior. Responsabilii arată că au rulat din nou Agentic Coding cu un cadru de testare modificat și o altă limită de pași. Tabelele sursă nu stabilesc cauza modificărilor din categoria Coding. Păstrează revizia tabelului sau hash-ul fișierului împreună cu numărul citat și salvează separat data din eticheta benchmarkului. [Tabel LiveBench anterior](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Tabel LiveBench ulterior](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Jurnalul de modificări al responsabililor](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Potrivește cazurile înainte de a compara ratele de succes

Două exemple de plafoane pentru resurse selectează fiecare 44 dintre cele 66 de sarcini din Terminal-Bench v4.1.0. Numai 36 de ID-uri de sarcină apar în ambele selecții. Plafoanele sunt 4 CPU-uri, 8.192 MB de memorie și 10.240 MB de stocare sau 2 CPU-uri, 16.384 MB de memorie și 20.480 MB de stocare. Filtrul aplică fiecare plafon atât declarațiilor pentru mediul sarcinii, cât și celor pentru mediul de verificare. Rezultatele de mai jos sunt fictive. [Configurarea și filtrul de resurse din Terminal-Bench](https://sapien1.com/ro/research/terminal-bench-resource-settings)

Să presupunem că agentul A rezolvă 32 de cazuri în prima selecție, iar agentul B rezolvă 34 în cea de-a doua. Fiecare selecție are opt cazuri în afara setului comun. Prin urmare, A ar fi putut rezolva între 24 și 32 dintre cele 36 de cazuri comune, iar B între 26 și 34. Dacă A a rezolvat 32 de cazuri comune și B a rezolvat 26, A ar conduce cu șase cazuri în setul comun. Dacă A a rezolvat 24 și B a rezolvat 34, B ar conduce cu zece. Ambele scenarii sunt compatibile cu totalurile raportate.

| Rezultat fictiv | Rezolvate în propria selecție de 44 de cazuri | Posibil rezolvate dintre cele 36 comune |
| --- | ---: | ---: |
| Agentul A | 32 | 24–32 |
| Agentul B | 34 | 26–34 |

În acest exemplu, totalurile nu stabilesc ordinea pe cazurile comune. Cere rezultatele pentru fiecare caz sau evaluează ambii agenți pe aceeași listă verificată. Dacă rulările au folosit bugete de resurse diferite, descrie rezultatul ca o comparație între configurațiile respective. Pentru a izola efectul schimbării agentului, păstrează bugetul și celelalte condiții de rulare. Stabilește numitorul comun și decide cum se numără rulările lipsă, eșuate sau neevaluate înainte de a ordona agenții. Raportează acoperirea rezultată.

## Verifică dacă evaluatorul a folosit aceleași date de intrare

Versiunile testelor SWE-bench Verified din februarie și august 2026 conțin aceleași 500 de ID-uri de caz. Două commituri din august au eliminat o intrare pentru un test de regresie așteptat într-un caz Astropy și cinci într-un caz Django. Reviziile arată ce s-a schimbat în listele stocate. Pentru a măsura efectul asupra scorurilor, evaluează aceleași corecții candidate cu ambele revizii, păstrând celelalte setări. Pentru a compara agenții, folosește aceeași revizie a setului de date, același evaluator, același mediu de execuție și aceleași opțiuni de evaluare. [Versiunea testelor din februarie](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Versiunea testelor din august](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Prima modificare SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [A doua modificare SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Codul sursă al evaluatorului](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Verifică fișierul cu rezultate pe caz înainte de a-l folosi

Every Eval Ever oferă înregistrări agregate și un index al colecției pentru localizarea rezultatelor pe eșantion. La o revizie fixată a depozitului de date, cele două surse declară valori SHA-256 diferite pentru fișierele asociate în toate cele 14 intrări ale indexului `MMLU-Pro` și în toate cele 11 intrări ale indexului `gsm8k`. În fiecare colecție, primul fișier listat, după descărcare, a avut același hash ca în index. Suma de control din înregistrarea agregată era diferită. Verificarea identifică o discrepanță la nivel de fișier. Ea nu stabilește dacă scorurile sunt corecte sau care este cauza discrepanței. [Index MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Index GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Exemplu de înregistrare agregată GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Păstrează locația imuabilă a fișierului și hash-ul verificat împreună cu rezultatele pereche pe care le folosești. Dacă declarațiile editorului sunt contradictorii, clarifică discrepanța înainte de a folosi fișierul ca dovadă pentru scor.

## Documentează comparația

| Element | Ce să salvezi |
| --- | --- |
| Rezultat publicat | URL-ul sursei, eticheta benchmarkului, revizia sau hash-ul tabelului, metrica și unitatea |
| Cazuri și încercări | Revizia și partiția setului de date, ID-urile exacte ale cazurilor și încercărilor, numitorul folosit la calcul și regulile de excludere |
| Condiții de executare | Reviziile agentului și modelului, instrumentele, evaluatorul și configurarea, bugetul, ID-ul mediului și hash-ul imaginii, dacă este disponibil |
| Dovezi | Ieșiri sau rezultate pe caz, locații imuabile ale fișierelor, hash-uri verificate |

Limitează concluziile despre performanță la ceea ce susțin datele păstrate. Pentru o citare istorică, identifică sursa exactă. Pentru compararea agenților, raportează rezultatele pereche pe caz și acoperirea în condițiile precizate.
