งานวิจัย
เปรียบเทียบคะแนนเบนช์มาร์กสองค่าได้ไหม
เริ่มจากการตัดสินใจที่ต้องใช้คะแนนประกอบ หากต้องการอ้างผลย้อนหลัง ให้ระบุว่าตัวเลขมาจากตารางใดที่เผยแพร่ หากต้องเลือกระหว่างเอเจนต์สองตัว ให้ตรวจว่าทั้งคู่ทำกรณีทดสอบเดียวกันภายใต้กฎเดียวกัน แล้วใช้ผลจากกรณีเหล่านั้นในการเปรียบเทียบ ตัวอย่างสาธารณะสี่กรณีแสดงให้เห็นว่าทำไมจึงควรตรวจสอบเรื่องเหล่านี้
ระบุตารางที่ใช้เป็นแหล่งอ้างอิง
LiveBench ใช้ป้ายกำกับตารางจัดอันดับเดียวกันคือ 2025-05-30 กับตารางต้นทางสองชุดที่ต่างกัน ตารางทั้งสองระบุเวอร์ชันต้นทางไว้ และมีป้ายชื่อโมเดลตรงกัน 30 รายการ ใน 28 รายการนั้น คะแนนอย่างน้อยหนึ่งจากสองค่าในหมวด Coding ซึ่งเป็นคนละหมวดสูงขึ้นในตารางชุดหลัง ผู้ดูแลระบุว่าได้รัน Agentic Coding ใหม่โดยเปลี่ยนระบบควบคุมการประเมินและขีดจำกัดจำนวนขั้นตอน ตารางต้นทางไม่อธิบายสาเหตุที่คะแนนในหมวด Coding เปลี่ยนไป ให้เก็บเวอร์ชันตารางหรือค่าแฮชของไฟล์ควบคู่กับตัวเลขที่อ้าง และบันทึกป้ายวันที่ของเบนช์มาร์กแยกอีกช่องหนึ่ง ตาราง LiveBench ชุดก่อน · ตาราง LiveBench ชุดหลัง · บันทึกการเปลี่ยนแปลงของผู้ดูแล
จับคู่กรณีทดสอบก่อนเปรียบเทียบอัตราความสำเร็จ
ขีดจำกัดทรัพยากรตัวอย่างสองชุดต่างคัดเลือกได้ 44 จาก 66 งานใน Terminal-Bench v4.1.0 มีรหัสงานเพียง 36 รายการที่อยู่ในทั้งสองชุด ขีดจำกัดชุดแรกคือ CPU 4 หน่วย หน่วยความจำ 8,192 MB และพื้นที่จัดเก็บ 10,240 MB หรืออีกชุดคือ CPU 2 หน่วย หน่วยความจำ 16,384 MB และพื้นที่จัดเก็บ 20,480 MB ตัวกรองนำขีดจำกัดแต่ละชุดไปใช้กับทรัพยากรที่ประกาศไว้ทั้งสำหรับสภาพแวดล้อมของงานและสภาพแวดล้อมของตัวตรวจสอบ ผลต่อไปนี้เป็นข้อมูลสมมติ การตั้งค่าและตัวกรองทรัพยากรของ Terminal-Bench
สมมติว่าเอเจนต์ A แก้โจทย์ได้ 32 กรณีในชุดแรก และเอเจนต์ B แก้ได้ 34 กรณีในชุดที่สอง แต่ละชุดมีกรณีนอกชุดร่วมแปดกรณี ดังนั้นใน 36 กรณีร่วม A อาจแก้ได้ 24 ถึง 32 กรณี ส่วน B อาจแก้ได้ 26 ถึง 34 กรณี หาก A แก้กรณีร่วมได้ 32 กรณีและ B แก้ได้ 26 กรณี A จะนำอยู่หกกรณีในชุดร่วม หาก A แก้ได้ 24 และ B แก้ได้ 34 กรณี B จะนำอยู่สิบกรณี ทั้งสองสถานการณ์สอดคล้องกับยอดรวมที่รายงาน
| ผลสมมติ | กรณีที่แก้ได้ในชุดของตนเองที่มี 44 กรณี | จำนวนกรณีที่อาจแก้ได้จาก 36 กรณีร่วม |
|---|---|---|
| เอเจนต์ A | 32 | 24–32 |
| เอเจนต์ B | 34 | 26–34 |
ในตัวอย่างนี้ ยอดรวมยังบอกไม่ได้ว่าใครทำได้ดีกว่าในกรณีร่วม ให้ขอผลรายกรณีหรือประเมินทั้งสองเอเจนต์ด้วยรายการกรณีเดียวกันที่ตรวจสอบแล้ว หากการรันใช้ทรัพยากรที่จัดสรรต่างกัน ให้อธิบายผลว่าเป็นการเปรียบเทียบการตั้งค่าเหล่านั้น หากต้องการแยกผลของการเปลี่ยนเอเจนต์ ให้คงงบทรัพยากรและเงื่อนไขการรันอื่น ๆ ไว้เหมือนเดิม ก่อนจัดอันดับให้กำหนดตัวหารร่วมและตัดสินใจว่าจะนับการรันที่ขาดหาย ล้มเหลว หรือยังไม่ได้ให้คะแนนอย่างไร แล้วรายงานความครอบคลุมที่ได้
ตรวจว่าระบบให้คะแนนใช้ข้อมูลนำเข้าเดียวกัน
สแนปช็อตชุดทดสอบ SWE-bench Verified เดือนกุมภาพันธ์และสิงหาคม 2026 มีรหัสกรณีทดสอบตรงกัน 500 รายการ คอมมิตสองรายการในเดือนสิงหาคมนำรายการทดสอบการถดถอยที่คาดไว้หนึ่งรายการออกจากกรณีของ Astropy และห้ารายการออกจากกรณีของ Django ทั้งสองเวอร์ชันแสดงให้เห็นว่ารายการที่จัดเก็บไว้เปลี่ยนไปอย่างไร หากต้องการวัดผลต่อคะแนน ให้ประเมินแพตช์ที่เสนอชุดเดียวกันด้วยทั้งสองเวอร์ชันและคงการตั้งค่าอื่นไว้ เมื่อเปรียบเทียบเอเจนต์ ให้ใช้เวอร์ชันชุดข้อมูล ระบบให้คะแนน สภาพแวดล้อมการรัน และตัวเลือกการประเมินเดียวกัน สแนปช็อตการทดสอบเดือนกุมภาพันธ์ · สแนปช็อตการทดสอบเดือนสิงหาคม · การเปลี่ยนแปลง SWE-bench ครั้งแรก · การเปลี่ยนแปลง SWE-bench ครั้งที่สอง · ซอร์สโค้ดของระบบให้คะแนน
ตรวจสอบไฟล์ผลรายกรณีก่อนใช้
Every Eval Ever มีระเบียนสรุปรวมและดัชนีของแต่ละคอลเลกชันให้ใช้ค้นผลรายตัวอย่าง ในเวอร์ชันหนึ่งของคลังข้อมูลที่ระบุแน่นอน ทั้งสองแหล่งระบุค่า SHA-256 ของไฟล์ตัวอย่างที่เกี่ยวข้องต่างกันสำหรับทั้ง 14 รายการในดัชนี MMLU-Pro และทั้ง 11 รายการในดัชนี gsm8k เมื่อดาวน์โหลดไฟล์ตัวอย่างรายการแรกของแต่ละคอลเลกชัน ค่าแฮชของไฟล์ตรงกับดัชนี แต่ค่าในระเบียนสรุปรวมต่างออกไป การตรวจนี้พบความไม่ตรงกันในระดับไฟล์ ยังไม่ได้ประเมินว่าคะแนนถูกต้องหรือความไม่ตรงกันเกิดจากอะไร ดัชนี MMLU-Pro · ดัชนี GSM8K · ตัวอย่างระเบียนสรุปรวม GSM8K
เก็บตำแหน่งไฟล์ที่ไม่เปลี่ยนแปลงและค่าแฮชที่ตรวจสอบแล้วไว้กับผลการทดสอบที่จับคู่เพื่อเปรียบเทียบ หากค่าที่ผู้เผยแพร่ระบุขัดกัน ให้แก้ความไม่ตรงกันก่อนใช้ไฟล์เป็นหลักฐานของคะแนน
บันทึกข้อมูลการเปรียบเทียบ
| รายการ | สิ่งที่ต้องเก็บ |
|---|---|
| ผลที่เผยแพร่ | URL ต้นทาง ป้ายกำกับเบนช์มาร์ก เวอร์ชันหรือค่าแฮชของตาราง ตัวชี้วัดและหน่วย |
| กรณีทดสอบและรอบทดลอง | เวอร์ชันและส่วนแบ่งของชุดข้อมูล รหัสกรณีและรอบทดลองที่แน่นอน ตัวหารของคะแนนและกฎการตัดออก |
| เงื่อนไขการรัน | เวอร์ชันของเอเจนต์และโมเดล เครื่องมือ ระบบให้คะแนนและการตั้งค่า งบทรัพยากร รหัสสภาพแวดล้อม และค่าแฮชของอิมเมจหากมี |
| หลักฐาน | เอาต์พุตหรือผลรายกรณี ตำแหน่งไฟล์ที่ไม่เปลี่ยนแปลง และค่าแฮชที่ตรวจสอบแล้ว |
สรุปเรื่องประสิทธิภาพให้อยู่ในขอบเขตที่หลักฐานรองรับ หากอ้างผลย้อนหลัง ให้ระบุแหล่งที่มาให้ชัดเจน หากเปรียบเทียบเอเจนต์ ให้รายงานผลรายกรณีที่จับคู่ไว้และความครอบคลุมภายใต้เงื่อนไขที่ระบุ