Penyelidikan
Bolehkah dua skor penanda aras dibandingkan?
Mulakan dengan keputusan yang perlu disokong oleh skor. Untuk memetik hasil lama, kenal pasti jadual tepat yang diterbitkan. Untuk memilih antara dua ejen, semak bahawa kedua-duanya menghadapi kes yang sama mengikut peraturan yang sama, kemudian bandingkan hasil daripada kes tersebut. Empat contoh awam menunjukkan sebab semakan ini penting.
Cari jadual yang dirujuk oleh petikan
LiveBench menggunakan label papan kedudukan yang sama, 2025-05-30, untuk dua jadual sumber yang berbeza. Kedua-dua jadual yang ditetapkan pada semakan tertentu mempunyai 30 label model yang sama. Bagi 28 label itu, sekurang-kurangnya satu daripada dua skor dalam kategori Coding yang berasingan lebih tinggi dalam jadual terkemudian. Penyelenggara menyatakan bahawa mereka menjalankan Agentic Coding semula dengan rangka ujian dan had langkah yang diubah. Jadual sumber tidak menunjukkan punca perubahan skor dalam kategori Coding. Simpan semakan jadual atau cincangan fail bersama angka yang dipetik, dan rekodkan label tarikh penanda aras dalam medan berasingan. Jadual LiveBench terdahulu · Jadual LiveBench terkemudian · Log perubahan penyelenggara
Padankan kes sebelum membandingkan kadar kejayaan
Dua contoh had sumber masing-masing memilih 44 daripada 66 tugas Terminal-Bench v4.1.0. Hanya 36 ID tugas muncul dalam kedua-dua pilihan. Hadnya ialah 4 CPU, 8,192 MB memori dan 10,240 MB storan, atau 2 CPU, 16,384 MB memori dan 20,480 MB storan. Penapis mengenakan setiap had pada nilai yang diisytiharkan untuk kedua-dua persekitaran tugas dan pengesah. Hasil berikut adalah rekaan. Tetapan dan penapis sumber Terminal-Bench
Andaikan ejen A menyelesaikan 32 kes dalam pilihan pertama dan ejen B menyelesaikan 34 dalam pilihan kedua. Setiap pilihan mempunyai lapan kes di luar set bersama. Oleh itu, A mungkin menyelesaikan antara 24 hingga 32 daripada 36 kes bersama, manakala B antara 26 hingga 34. Jika A menyelesaikan 32 kes bersama dan B menyelesaikan 26, A mendahului enam kes dalam set bersama. Jika A menyelesaikan 24 dan B menyelesaikan 34, B mendahului sepuluh kes. Kedua-dua senario sepadan dengan jumlah yang dilaporkan.
| Hasil rekaan | Kes diselesaikan dalam pilihan sendiri yang mengandungi 44 kes | Kes yang mungkin diselesaikan daripada 36 kes bersama |
|---|---|---|
| Ejen A | 32 | 24–32 |
| Ejen B | 34 | 26–34 |
Dalam contoh ini, jumlah keseluruhan tidak menentukan susunan pada kes bersama. Minta hasil bagi setiap kes atau nilai kedua-dua ejen menggunakan senarai kes disahkan yang sama. Jika larian menggunakan belanjawan sumber yang berbeza, nyatakan hasilnya sebagai perbandingan antara konfigurasi itu. Untuk mengasingkan kesan menukar ejen, kekalkan belanjawan dan syarat larian yang lain. Tetapkan penyebut bersama dan tentukan cara mengira larian yang tiada, gagal atau tidak dinilai sebelum menyusun kedudukan ejen. Laporkan liputan yang diperoleh.
Semak sama ada penilai menggunakan input yang sama
Petikan keadaan ujian SWE-bench Verified bagi Februari dan Ogos 2026 mengandungi 500 ID kes yang sama. Dua komit pada bulan Ogos membuang satu entri ujian regresi yang dijangka bagi satu kes Astropy dan lima bagi satu kes Django. Semakan ini menunjukkan perubahan dalam senarai yang disimpan. Untuk mengukur kesannya pada skor, nilai tampalan calon yang sama dengan kedua-dua semakan sambil mengekalkan tetapan lain. Gunakan semakan set data, penilai, persekitaran pelaksanaan dan pilihan penilaian yang sama untuk kedua-dua ejen. Petikan ujian Februari · Petikan ujian Ogos · Perubahan pertama SWE-bench · Perubahan kedua SWE-bench · Kod sumber penilai
Sahkan fail hasil bagi setiap kes sebelum menggunakannya
Every Eval Ever menyediakan rekod agregat dan indeks koleksi untuk mencari hasil bagi setiap sampel. Dalam satu semakan tetap stor data, kedua-dua sumber menyatakan nilai SHA-256 yang berbeza bagi fail sampel berkaitan dalam kesemua 14 entri indeks MMLU-Pro dan kesemua 11 entri indeks gsm8k. Bagi setiap koleksi, fail sampel pertama yang disenaraikan menghasilkan cincangan yang sepadan dengan indeks selepas dimuat turun. Jumlah semak dalam rekod agregat berbeza. Semakan ini mengenal pasti percanggahan pada peringkat fail. Ketepatan skor dan punca percanggahan belum dinilai. Indeks MMLU-Pro · Indeks GSM8K · Contoh rekod agregat GSM8K
Simpan lokasi fail yang tidak berubah dan cincangan yang disahkan bersama hasil berpasangan yang digunakan. Jika maklumat penerbit bercanggah, selesaikan percanggahan itu sebelum bergantung pada fail sebagai bukti bagi skor.
Rekodkan perbandingan
| Rekod | Perkara yang perlu disimpan |
|---|---|
| Hasil diterbitkan | URL sumber, label penanda aras, semakan atau cincangan jadual, metrik dan unit |
| Kes dan percubaan | Semakan dan pembahagian set data, ID kes dan percubaan yang tepat, penyebut penilaian dan peraturan pengecualian |
| Syarat pelaksanaan | Semakan ejen dan model, alat, penilai dan konfigurasi, belanjawan, ID persekitaran dan cincangan imej jika tersedia |
| Bukti | Output atau hasil bagi setiap kes, lokasi fail yang tidak berubah dan cincangan yang disahkan |
Hadkan kesimpulan tentang prestasi kepada skop yang disokong oleh rekod. Untuk petikan sejarah, kenal pasti sumber yang tepat. Untuk perbandingan ejen, laporkan hasil kes berpasangan dan liputan dalam keadaan yang dinyatakan.