# เปรียบเทียบคะแนนเบนช์มาร์กสองค่าได้ไหม

เริ่มจากการตัดสินใจที่ต้องใช้คะแนนประกอบ หากต้องการอ้างผลย้อนหลัง ให้ระบุว่าตัวเลขมาจากตารางใดที่เผยแพร่ หากต้องเลือกระหว่างเอเจนต์สองตัว ให้ตรวจว่าทั้งคู่ทำกรณีทดสอบเดียวกันภายใต้กฎเดียวกัน แล้วใช้ผลจากกรณีเหล่านั้นในการเปรียบเทียบ ตัวอย่างสาธารณะสี่กรณีแสดงให้เห็นว่าทำไมจึงควรตรวจสอบเรื่องเหล่านี้

## ระบุตารางที่ใช้เป็นแหล่งอ้างอิง

LiveBench ใช้ป้ายกำกับตารางจัดอันดับเดียวกันคือ `2025-05-30` กับตารางต้นทางสองชุดที่ต่างกัน ตารางทั้งสองระบุเวอร์ชันต้นทางไว้ และมีป้ายชื่อโมเดลตรงกัน 30 รายการ ใน 28 รายการนั้น คะแนนอย่างน้อยหนึ่งจากสองค่าในหมวด Coding ซึ่งเป็นคนละหมวดสูงขึ้นในตารางชุดหลัง ผู้ดูแลระบุว่าได้รัน Agentic Coding ใหม่โดยเปลี่ยนระบบควบคุมการประเมินและขีดจำกัดจำนวนขั้นตอน ตารางต้นทางไม่อธิบายสาเหตุที่คะแนนในหมวด Coding เปลี่ยนไป ให้เก็บเวอร์ชันตารางหรือค่าแฮชของไฟล์ควบคู่กับตัวเลขที่อ้าง และบันทึกป้ายวันที่ของเบนช์มาร์กแยกอีกช่องหนึ่ง [ตาราง LiveBench ชุดก่อน](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [ตาราง LiveBench ชุดหลัง](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [บันทึกการเปลี่ยนแปลงของผู้ดูแล](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## จับคู่กรณีทดสอบก่อนเปรียบเทียบอัตราความสำเร็จ

ขีดจำกัดทรัพยากรตัวอย่างสองชุดต่างคัดเลือกได้ 44 จาก 66 งานใน Terminal-Bench v4.1.0 มีรหัสงานเพียง 36 รายการที่อยู่ในทั้งสองชุด ขีดจำกัดชุดแรกคือ CPU 4 หน่วย หน่วยความจำ 8,192 MB และพื้นที่จัดเก็บ 10,240 MB หรืออีกชุดคือ CPU 2 หน่วย หน่วยความจำ 16,384 MB และพื้นที่จัดเก็บ 20,480 MB ตัวกรองนำขีดจำกัดแต่ละชุดไปใช้กับทรัพยากรที่ประกาศไว้ทั้งสำหรับสภาพแวดล้อมของงานและสภาพแวดล้อมของตัวตรวจสอบ ผลต่อไปนี้เป็นข้อมูลสมมติ [การตั้งค่าและตัวกรองทรัพยากรของ Terminal-Bench](https://sapien1.com/th/research/terminal-bench-resource-settings)

สมมติว่าเอเจนต์ A แก้โจทย์ได้ 32 กรณีในชุดแรก และเอเจนต์ B แก้ได้ 34 กรณีในชุดที่สอง แต่ละชุดมีกรณีนอกชุดร่วมแปดกรณี ดังนั้นใน 36 กรณีร่วม A อาจแก้ได้ 24 ถึง 32 กรณี ส่วน B อาจแก้ได้ 26 ถึง 34 กรณี หาก A แก้กรณีร่วมได้ 32 กรณีและ B แก้ได้ 26 กรณี A จะนำอยู่หกกรณีในชุดร่วม หาก A แก้ได้ 24 และ B แก้ได้ 34 กรณี B จะนำอยู่สิบกรณี ทั้งสองสถานการณ์สอดคล้องกับยอดรวมที่รายงาน

| ผลสมมติ | กรณีที่แก้ได้ในชุดของตนเองที่มี 44 กรณี | จำนวนกรณีที่อาจแก้ได้จาก 36 กรณีร่วม |
| --- | ---: | ---: |
| เอเจนต์ A | 32 | 24–32 |
| เอเจนต์ B | 34 | 26–34 |

ในตัวอย่างนี้ ยอดรวมยังบอกไม่ได้ว่าใครทำได้ดีกว่าในกรณีร่วม ให้ขอผลรายกรณีหรือประเมินทั้งสองเอเจนต์ด้วยรายการกรณีเดียวกันที่ตรวจสอบแล้ว หากการรันใช้ทรัพยากรที่จัดสรรต่างกัน ให้อธิบายผลว่าเป็นการเปรียบเทียบการตั้งค่าเหล่านั้น หากต้องการแยกผลของการเปลี่ยนเอเจนต์ ให้คงงบทรัพยากรและเงื่อนไขการรันอื่น ๆ ไว้เหมือนเดิม ก่อนจัดอันดับให้กำหนดตัวหารร่วมและตัดสินใจว่าจะนับการรันที่ขาดหาย ล้มเหลว หรือยังไม่ได้ให้คะแนนอย่างไร แล้วรายงานความครอบคลุมที่ได้

## ตรวจว่าระบบให้คะแนนใช้ข้อมูลนำเข้าเดียวกัน

สแนปช็อตชุดทดสอบ SWE-bench Verified เดือนกุมภาพันธ์และสิงหาคม 2026 มีรหัสกรณีทดสอบตรงกัน 500 รายการ คอมมิตสองรายการในเดือนสิงหาคมนำรายการทดสอบการถดถอยที่คาดไว้หนึ่งรายการออกจากกรณีของ Astropy และห้ารายการออกจากกรณีของ Django ทั้งสองเวอร์ชันแสดงให้เห็นว่ารายการที่จัดเก็บไว้เปลี่ยนไปอย่างไร หากต้องการวัดผลต่อคะแนน ให้ประเมินแพตช์ที่เสนอชุดเดียวกันด้วยทั้งสองเวอร์ชันและคงการตั้งค่าอื่นไว้ เมื่อเปรียบเทียบเอเจนต์ ให้ใช้เวอร์ชันชุดข้อมูล ระบบให้คะแนน สภาพแวดล้อมการรัน และตัวเลือกการประเมินเดียวกัน [สแนปช็อตการทดสอบเดือนกุมภาพันธ์](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [สแนปช็อตการทดสอบเดือนสิงหาคม](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [การเปลี่ยนแปลง SWE-bench ครั้งแรก](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [การเปลี่ยนแปลง SWE-bench ครั้งที่สอง](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [ซอร์สโค้ดของระบบให้คะแนน](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## ตรวจสอบไฟล์ผลรายกรณีก่อนใช้

Every Eval Ever มีระเบียนสรุปรวมและดัชนีของแต่ละคอลเลกชันให้ใช้ค้นผลรายตัวอย่าง ในเวอร์ชันหนึ่งของคลังข้อมูลที่ระบุแน่นอน ทั้งสองแหล่งระบุค่า SHA-256 ของไฟล์ตัวอย่างที่เกี่ยวข้องต่างกันสำหรับทั้ง 14 รายการในดัชนี `MMLU-Pro` และทั้ง 11 รายการในดัชนี `gsm8k` เมื่อดาวน์โหลดไฟล์ตัวอย่างรายการแรกของแต่ละคอลเลกชัน ค่าแฮชของไฟล์ตรงกับดัชนี แต่ค่าในระเบียนสรุปรวมต่างออกไป การตรวจนี้พบความไม่ตรงกันในระดับไฟล์ ยังไม่ได้ประเมินว่าคะแนนถูกต้องหรือความไม่ตรงกันเกิดจากอะไร [ดัชนี MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [ดัชนี GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [ตัวอย่างระเบียนสรุปรวม GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

เก็บตำแหน่งไฟล์ที่ไม่เปลี่ยนแปลงและค่าแฮชที่ตรวจสอบแล้วไว้กับผลการทดสอบที่จับคู่เพื่อเปรียบเทียบ หากค่าที่ผู้เผยแพร่ระบุขัดกัน ให้แก้ความไม่ตรงกันก่อนใช้ไฟล์เป็นหลักฐานของคะแนน

## บันทึกข้อมูลการเปรียบเทียบ

| รายการ | สิ่งที่ต้องเก็บ |
| --- | --- |
| ผลที่เผยแพร่ | URL ต้นทาง ป้ายกำกับเบนช์มาร์ก เวอร์ชันหรือค่าแฮชของตาราง ตัวชี้วัดและหน่วย |
| กรณีทดสอบและรอบทดลอง | เวอร์ชันและส่วนแบ่งของชุดข้อมูล รหัสกรณีและรอบทดลองที่แน่นอน ตัวหารของคะแนนและกฎการตัดออก |
| เงื่อนไขการรัน | เวอร์ชันของเอเจนต์และโมเดล เครื่องมือ ระบบให้คะแนนและการตั้งค่า งบทรัพยากร รหัสสภาพแวดล้อม และค่าแฮชของอิมเมจหากมี |
| หลักฐาน | เอาต์พุตหรือผลรายกรณี ตำแหน่งไฟล์ที่ไม่เปลี่ยนแปลง และค่าแฮชที่ตรวจสอบแล้ว |

สรุปเรื่องประสิทธิภาพให้อยู่ในขอบเขตที่หลักฐานรองรับ หากอ้างผลย้อนหลัง ให้ระบุแหล่งที่มาให้ชัดเจน หากเปรียบเทียบเอเจนต์ ให้รายงานผลรายกรณีที่จับคู่ไว้และความครอบคลุมภายใต้เงื่อนไขที่ระบุ
