Araştırma
İki kıyaslama puanı karşılaştırılabilir mi?
Puanların hangi kararı desteklemesi gerektiğiyle başlayın. Geçmiş bir sonucu alıntılamak için yayımlanan tablonun tam olarak hangisi olduğunu belirleyin. İki ajan arasında seçim yapmak için aynı vakaları aynı kurallar altında ele aldıklarını doğrulayın ve bu vakaların sonuçlarını karşılaştırın. Bu kontrollerin neden önemli olduğunu kamuya açık dört örnek gösteriyor.
Alıntının işaret ettiği tabloyu bulun
LiveBench, iki farklı kaynak tablosu için aynı sıralama etiketi olan 2025-05-30 değerini kullandı. Belirli revizyonlara sabitlenen iki tabloda 30 ortak model etiketi var. Bunların 28’inde, ayrı Coding kategorisindeki iki puandan en az biri sonraki tabloda daha yüksek. Projeyi sürdürenler, Agentic Coding’i değiştirilen test düzeneği ve adım sınırıyla yeniden çalıştırdıklarını belirtiyor. Kaynak tablolar, ayrı Coding kategorisindeki değişikliklerin nedenini ortaya koymuyor. Alıntıladığınız sayıyla tablo revizyonunu veya dosya özetini saklayın ve kıyaslama tarih etiketini ayrı bir alanda tutun. Önceki LiveBench tablosu · Sonraki LiveBench tablosu · Projenin değişiklik günlüğü
Başarı oranlarını karşılaştırmadan önce aynı vakaları eşleştirin
İki örnek kaynak sınırının her biri Terminal-Bench v4.1.0’daki 66 görevin 44’ünü seçiyor. Yalnızca 36 görev kimliği her iki seçimde de yer alıyor. Sınırlar 4 CPU, 8.192 MB bellek ve 10.240 MB depolama veya 2 CPU, 16.384 MB bellek ve 20.480 MB depolama. Kaynak filtresi her sınırı hem görev hem de doğrulayıcı ortamları için beyan edilen değerlere uyguluyor. Aşağıdaki sonuçlar kurgusaldır. Terminal-Bench kaynak ayarları ve filtresi
A ajanının ilk seçimde 32 vakayı, B ajanının ikinci seçimde 34 vakayı çözdüğünü varsayalım. Her seçimde ortak kümenin dışında sekiz vaka var. Dolayısıyla A, 36 ortak vakanın 24 ila 32’sini, B ise 26 ila 34’ünü çözmüş olabilir. A 32, B 26 ortak vaka çözdüyse A ortak kümede altı vaka önde olur. A 24, B 34 vaka çözdüyse B on vaka önde olur. İki senaryo da bildirilen toplamlarla uyumludur.
| Kurgusal sonuç | Kendi 44 vakalık seçiminde çözdüğü vakalar | 36 ortak vakadan çözmüş olabileceği vaka sayısı |
|---|---|---|
| A ajanı | 32 | 24–32 |
| B ajanı | 34 | 26–34 |
Bu örnekte toplamlar ortak vakalardaki sıralamayı belirlemiyor. Her vakanın sonucunu isteyin veya iki ajanı da aynı doğrulanmış vaka listesinde değerlendirin. Çalıştırmalar farklı kaynak bütçeleri kullandıysa sonucu bu yapılandırmaların karşılaştırması olarak açıklayın. Ajanı değiştirmenin etkisini ayrı değerlendirmek için bütçeyi ve diğer çalıştırma koşullarını sabit tutun. Ajanları sıralamadan önce ortak paydayı belirleyin ve eksik, başarısız veya değerlendirilmemiş çalıştırmaların nasıl sayılacağına karar verin. Ortaya çıkan kapsamı bildirin.
Puanlayıcının aynı girdileri kullandığını doğrulayın
SWE-bench Verified’ın Şubat ve Ağustos 2026 test anlık görüntüleri aynı 500 vaka kimliğini içeriyor. Ağustos ayındaki iki değişiklik kaydı, bir Astropy vakasından beklenen bir regresyon testi girdisini ve bir Django vakasından beş girdiyi kaldırdı. Revizyonlar, kayıtlı listelerde neyin değiştiğini gösteriyor. Puanlara etkisini ölçmek için diğer ayarları sabit tutup aynı aday yamaları iki revizyonda da değerlendirin. İki ajanı karşılaştırırken ikisi için aynı veri kümesi revizyonunu, puanlayıcıyı, çalıştırma ortamını ve değerlendirme seçeneklerini kullanın. Şubat test anlık görüntüsü · Ağustos test anlık görüntüsü · İlk SWE-bench değişikliği · İkinci SWE-bench değişikliği · Puanlayıcının kaynak kodu
Vaka başına sonuç dosyasını kullanmadan önce doğrulayın
Every Eval Ever, örnek başına sonuçları bulmak için toplu kayıtlar ve koleksiyon dizinleri sunuyor. Veri deposunun sabit bir revizyonunda, iki kaynak MMLU-Pro dizinindeki 14 kaydın ve gsm8k dizinindeki 11 kaydın tamamında ilgili örnek dosyaları için farklı SHA-256 değerleri bildiriyor. Her koleksiyonda listelenen ilk örnek dosyası indirildiğinde dosya özeti dizindeki değerle eşleşti. Toplu kayıttaki sağlama toplamı farklıydı. Bu kontrol dosya düzeyinde bir uyuşmazlığı ortaya koyuyor. Puanların doğruluğunu veya uyuşmazlığın nedenini belirlemiyor. MMLU-Pro dizini · GSM8K dizini · GSM8K toplu kayıt örneği
Değişmez dosya konumunu ve doğrulanmış özeti, kullandığınız eşleştirilmiş sonuçlarla birlikte saklayın. Yayıncının beyanları çelişiyorsa dosyayı puanın kanıtı olarak kullanmadan önce uyuşmazlığı çözün.
Karşılaştırmayı kaydedin
| Kayıt | Saklanacak bilgiler |
|---|---|
| Yayımlanan sonuç | Kaynak URL’si, kıyaslama etiketi, tablo revizyonu veya özeti, ölçüt ve birim |
| Vakalar ve denemeler | Veri kümesi revizyonu ve bölümü, kesin vaka ve deneme kimlikleri, puanlama paydası ve hariç tutma kuralları |
| Çalıştırma koşulları | Ajan ve model revizyonları, araçlar, puanlayıcı ve yapılandırma, bütçe, ortam kimliği ve varsa imaj özeti |
| Kanıt | Vaka başına çıktılar veya sonuçlar, değişmez dosya konumları ve doğrulanmış özetler |
Performansla ilgili sonucu kayıtların desteklediği kapsamla sınırlayın. Geçmiş bir sonucu alıntılarken tam kaynağı belirtin. Ajanları karşılaştırırken eşleştirilmiş vaka sonuçlarını ve belirtilen koşullardaki kapsamı bildirin.