# Bisakah dua skor tolok ukur dibandingkan?

Mulailah dengan keputusan yang akan didukung oleh skor tersebut. Untuk mengutip hasil lama, temukan tabel yang persis sama dengan yang diterbitkan. Untuk memilih di antara dua agen, pastikan keduanya menghadapi kasus yang sama dengan aturan yang sama, lalu bandingkan hasil dari kasus tersebut. Empat contoh publik menunjukkan mengapa pemeriksaan ini penting.

## Temukan tabel yang dirujuk oleh kutipan

LiveBench menggunakan label papan peringkat yang sama, `2025-05-30`, untuk dua tabel sumber yang berbeda. Kedua tabel yang dikunci ke revisi tertentu memiliki 30 label model yang sama. Untuk 28 label tersebut, setidaknya satu dari dua skor di kategori Coding yang terpisah lebih tinggi dalam tabel yang lebih baru. Pengelola menyatakan bahwa mereka mengulang Agentic Coding dengan perangkat evaluasi dan batas langkah yang diubah. Tabel sumber tidak menjelaskan penyebab perubahan di kategori Coding. Simpan revisi tabel atau hash berkas bersama angka yang dikutip, dan catat label tanggal tolok ukur di kolom terpisah. [Tabel LiveBench terdahulu](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Tabel LiveBench berikutnya](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Catatan perubahan pengelola](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Cocokkan kasus sebelum membandingkan tingkat keberhasilan

Dua contoh batas sumber daya masing-masing memilih 44 dari 66 tugas di Terminal-Bench v4.1.0. Hanya 36 ID tugas yang muncul di kedua pilihan. Batasnya adalah 4 CPU, memori 8.192 MB dan penyimpanan 10.240 MB, atau 2 CPU, memori 16.384 MB dan penyimpanan 20.480 MB. Penyaring menerapkan setiap batas pada spesifikasi yang dinyatakan untuk lingkungan tugas dan lingkungan verifikator. Hasil berikut bersifat fiktif. [Setelan dan penyaring sumber daya Terminal-Bench](https://sapien1.com/id/research/terminal-bench-resource-settings)

Misalkan agen A menyelesaikan 32 kasus pada pilihan pertama dan agen B menyelesaikan 34 pada pilihan kedua. Setiap pilihan memiliki delapan kasus di luar himpunan bersama. Jadi, A mungkin menyelesaikan 24 hingga 32 dari 36 kasus bersama, dan B 26 hingga 34. Jika A menyelesaikan 32 kasus bersama dan B menyelesaikan 26, A unggul enam kasus pada himpunan bersama. Jika A menyelesaikan 24 dan B 34, B unggul sepuluh kasus. Kedua skenario sesuai dengan total yang dilaporkan.

| Hasil fiktif | Kasus yang diselesaikan dalam pilihan masing-masing yang berisi 44 kasus | Kemungkinan jumlah kasus yang diselesaikan dari 36 kasus bersama |
| --- | ---: | ---: |
| Agen A | 32 | 24–32 |
| Agen B | 34 | 26–34 |

Dalam contoh ini, total tidak menentukan urutan pada kasus bersama. Mintalah hasil per kasus atau nilailah kedua agen dengan daftar kasus terverifikasi yang sama. Jika setiap eksekusi memakai anggaran sumber daya yang berbeda, jelaskan hasilnya sebagai perbandingan konfigurasi tersebut. Agar dampak pergantian agen dapat dipisahkan, pertahankan anggaran dan kondisi eksekusi lainnya. Tentukan penyebut bersama dan cara menghitung eksekusi yang hilang, gagal, atau tidak dinilai sebelum menentukan peringkat. Laporkan cakupan yang dihasilkan.

## Pastikan penilai memakai masukan yang sama

Cuplikan pengujian SWE-bench Verified dari Februari dan Agustus 2026 berisi 500 ID kasus yang sama. Dua commit pada Agustus menghapus satu entri uji regresi yang diharapkan untuk satu kasus Astropy dan lima untuk satu kasus Django. Revisi itu menunjukkan apa yang berubah dalam daftar tersimpan. Untuk mengukur dampaknya pada skor, nilai tambalan kandidat yang sama dengan kedua revisi sambil mempertahankan setelan lain. Untuk membandingkan agen, gunakan revisi set data, penilai, lingkungan eksekusi, dan opsi evaluasi yang sama bagi keduanya. [Cuplikan pengujian Februari](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Cuplikan pengujian Agustus](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Perubahan pertama SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Perubahan kedua SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Kode sumber penilai](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Verifikasi berkas hasil per kasus sebelum menggunakannya

Every Eval Ever menyediakan catatan agregat dan indeks koleksi untuk menemukan hasil per sampel. Pada satu revisi tetap penyimpanan data, kedua sumber menyatakan nilai SHA-256 yang berbeda untuk berkas sampel terkait pada semua 14 entri dalam indeks `MMLU-Pro` dan semua 11 dalam indeks `gsm8k`. Untuk setiap koleksi, hash berkas sampel pertama dalam daftar yang kami unduh cocok dengan hash indeks. Nilai pemeriksaan dalam catatan agregat berbeda. Pemeriksaan ini menemukan selisih pada tingkat berkas. Pemeriksaan ini belum menetapkan kebenaran skor atau penyebab selisihnya. [Indeks MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Indeks GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Contoh catatan agregat GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Simpan lokasi berkas yang tidak berubah dan hash yang telah diverifikasi bersama hasil berpasangan yang Anda gunakan. Jika pernyataan penerbit saling bertentangan, selesaikan perbedaan sebelum menggunakan berkas sebagai bukti untuk skor.

## Catat perbandingannya

| Catatan | Yang perlu disimpan |
| --- | --- |
| Hasil terbit | URL sumber, label tolok ukur, revisi atau hash tabel, metrik, dan satuan |
| Kasus dan percobaan | Revisi dan pembagian set data, ID kasus dan percobaan yang tepat, penyebut penilaian, serta aturan pengecualian |
| Kondisi eksekusi | Revisi agen dan model, alat, penilai dan konfigurasi, anggaran, ID lingkungan, serta hash citra jika tersedia |
| Bukti | Keluaran atau hasil per kasus, lokasi berkas yang tidak berubah, dan hash terverifikasi |

Batasi kesimpulan tentang kinerja pada cakupan yang didukung oleh catatan Anda. Untuk kutipan historis, sebutkan sumber yang tepat. Untuk perbandingan agen, laporkan hasil kasus berpasangan dan cakupan pada kondisi yang dinyatakan.
