Pananaliksik
Maaari bang paghambingin ang dalawang score sa benchmark?
Magsimula sa desisyong dapat tulungan ng mga score. Kung babanggit ng dating resulta, alamin kung aling eksaktong talahanayan ang inilathala. Para pumili sa pagitan ng dalawang agent, tiyaking hinarap nila ang parehong mga kaso sa ilalim ng parehong mga tuntunin. Gamitin ang resulta ng mga kasong iyon sa paghahambing. Ipinapakita ng apat na pampublikong halimbawa kung bakit mahalaga ang mga pagsusuring ito.
Hanapin ang talahanayang tinutukoy ng sipi
Ginamit ng LiveBench ang parehong label sa leaderboard, 2025-05-30, para sa dalawang magkaibang pinagmulang talahanayan. May 30 magkaparehong label ng modelo sa dalawang talahanayang tinukoy sa kani-kanilang bersyon. Sa 28 sa mga iyon, mas mataas sa mas bagong talahanayan ang kahit isa sa dalawang score sa hiwalay na kategoryang Coding. Sinabi ng mga tagapangasiwa na inulit nila ang Agentic Coding matapos baguhin ang test harness at limitasyon sa bilang ng hakbang. Hindi ipinapakita ng mga pinagmulang talahanayan ang dahilan ng pagbabago sa hiwalay na kategoryang Coding. Itabi ang bersyon ng talahanayan o hash ng file kasama ng numerong binanggit. Itala sa hiwalay na field ang label ng petsa ng benchmark. Naunang talahanayan ng LiveBench · Sumunod na talahanayan ng LiveBench · Talaan ng mga pagbabago mula sa mga tagapangasiwa
Itugma ang mga kaso bago ihambing ang porsiyento ng tagumpay
Bawat isa sa dalawang halimbawang limitasyon ng resource ay pumipili ng 44 sa 66 na gawain sa Terminal-Bench v4.1.0. May 36 na task ID lang na lumilitaw sa parehong pangkat. Ang mga limitasyon ay 4 na CPU, 8,192 MB na memory at 10,240 MB na storage, o 2 CPU, 16,384 MB na memory at 20,480 MB na storage. Inilalapat ng filter ang bawat limitasyon sa mga idineklarang resource ng kapaligiran ng gawain at ng verifier. Kathang-isip ang mga sumusunod na resulta. Mga setting at filter ng resource ng Terminal-Bench
Ipagpalagay na nalutas ng agent A ang 32 kaso sa unang pangkat at ng agent B ang 34 sa pangalawa. May walong kaso sa bawat pangkat na wala sa magkasanib na set. Kaya posibleng nalutas ni A ang 24 hanggang 32 sa 36 na magkasanib na kaso at ni B ang 26 hanggang 34. Kung nalutas ni A ang 32 na magkasanib na kaso at ni B ang 26, lamang si A ng anim sa magkasanib na set. Kung nalutas ni A ang 24 at ni B ang 34, lamang si B ng sampu. Tugma ang parehong sitwasyon sa mga kabuuang iniulat.
| Kathang-isip na resulta | Nalutas sa sariling pangkat ng 44 na kaso | Posibleng nalutas sa 36 na magkasanib na kaso |
|---|---|---|
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |
Sa halimbawang ito, hindi matutukoy sa mga kabuuan ang ranggo sa magkasanib na mga kaso. Hingin ang resulta para sa bawat kaso o bigyan ng score ang parehong agent gamit ang iisang listahang napatunayan. Kung magkaiba ang budget ng resource sa mga run, ilarawan ang resulta bilang paghahambing ng mga configuration na iyon. Panatilihing pareho ang budget at iba pang kondisyon ng run para maihiwalay ang epekto ng pagpapalit ng agent. Itakda ang iisang denominator at magpasya kung paano bibilangin ang mga run na nawawala, pumalpak, o walang score bago gumawa ng ranggo. Iulat kung ilang kaso ang nasaklaw.
Tiyaking parehong input ang ginamit ng tagapagsuri
Parehong 500 case ID ang nasa mga snapshot ng pagsusuri sa SWE-bench Verified mula Pebrero at Agosto 2026. Sa dalawang commit noong Agosto, inalis ang isang entry ng inaasahang regression test para sa isang kaso ng Astropy at lima para sa isang kaso ng Django. Ipinapakita ng mga bersyon kung ano ang nagbago sa mga nakaimbak na listahan. Para masukat ang epekto sa mga score, suriin ang parehong mga iminungkahing patch sa dalawang bersyon habang pinananatiling pareho ang ibang setting. Sa paghahambing ng mga agent, gamitin ang parehong bersyon ng dataset, tagapagsuri, kapaligiran ng pagtakbo at mga opsyon ng pagsusuri. Snapshot ng pagsusuri noong Pebrero · Snapshot ng pagsusuri noong Agosto · Unang pagbabago sa SWE-bench · Ikalawang pagbabago sa SWE-bench · Source code ng tagapagsuri
Beripikahin ang file ng resulta sa bawat kaso bago gamitin
May mga pinagsama-samang rekord at index ng koleksiyon ang Every Eval Ever para mahanap ang resulta ng bawat sample. Sa isang tiyak na bersyon ng data store, magkaibang SHA-256 value ang nakasaad sa dalawang pinagmulan para sa kaugnay na mga sample file sa lahat ng 14 na entry sa index ng MMLU-Pro at lahat ng 11 sa index ng gsm8k. Sa bawat koleksiyon, tumugma ang hash ng unang file sa listahan na na-download sa hash na nasa index. Iba ang checksum sa pinagsama-samang rekord. Nakapagtukoy ang pagsusuring ito ng hindi pagkakatugma sa antas ng file. Hindi nito tinatasa ang katumpakan ng mga score o ang dahilan ng pagkakaiba. Index ng MMLU-Pro · Index ng GSM8K · Halimbawa ng pinagsama-samang rekord ng GSM8K
Itabi ang lokasyon ng file na hindi nagbabago at ang napatunayang hash kasama ng magkatugmang resulta na ginagamit mo. Kung nagkakasalungatan ang nakasaad na impormasyon ng tagapaglathala, ayusin muna ang hindi pagkakatugma bago gamiting katibayan ng score ang file.
Itala ang paghahambing
| Rekord | Dapat itabi |
|---|---|
| Inilathalang resulta | URL ng pinagmulan, label ng benchmark, bersyon o hash ng talahanayan, sukatan at yunit |
| Mga kaso at pagsubok | Bersyon at split ng dataset, eksaktong ID ng kaso at pagsubok, denominator ng score at mga tuntunin ng pagbubukod |
| Mga kondisyon ng pagtakbo | Bersyon ng agent at modelo, mga tool, tagapagsuri at configuration, budget, ID ng kapaligiran at hash ng image kung mayroon |
| Katibayan | Output o resulta ng bawat kaso, mga lokasyon ng file na hindi nagbabago at mga napatunayang hash |
Limitahan ang konklusyon tungkol sa pagganap sa saklaw na sinusuportahan ng iyong mga rekord. Para sa sipi ng dating resulta, tukuyin ang eksaktong pinagmulan. Kapag naghahambing ng mga agent, iulat ang magkatugmang resulta ng bawat kaso at ang saklaw sa ilalim ng mga kondisyong binanggit.