งานวิจัย
การตั้งค่าทรัพยากรของ 66 งานใน Terminal-Bench
งาน 66 งานใน Terminal-Bench v4.1.0 ระบุค่าทรัพยากรไว้ต่างกัน จากการตรวจไฟล์กำหนดค่าทั้งชุด พบว่า 31 งานระบุหน่วยความจำมากกว่า 4,096 MB และ 22 งานระบุ CPU มากกว่า 2 ตัว เมื่อใช้ค่าที่ระบุบ่อยที่สุดของ CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU มาประกอบเป็นชุดค่าเปรียบเทียบ พบว่ามี 38 งานที่ระบุค่าสูงกว่าชุดนี้อย่างน้อยหนึ่งรายการ ความแตกต่างเหล่านี้ช่วยบอกว่าทีมประเมินควรรักษาหรือบันทึกการตั้งค่าใดขณะเตรียมแซนด์บ็อกซ์ ส่วนปริมาณทรัพยากรที่ใช้จริงและโอกาสที่งานจะล้มเหลวต้องอาศัยข้อมูลอื่น
เมื่อนำเบนช์มาร์กเดิมไปรันในสภาพแวดล้อมใหม่ มีเงื่อนไขใดบ้างที่ยังคงเดิม คำตอบขึ้นอยู่กับเวอร์ชันของงานและตัวเรียกใช้งาน ค่าที่ใช้แทนค่าเดิม และนโยบายของระบบเบื้องหลัง
งานในรุ่นนี้ระบุทรัพยากรไว้หลายระดับ
เราตรวจงานทุกรายการในบัญชีงานทางการของ Terminal-Bench v4.1.0 ที่เผยแพร่เมื่อวันที่ 3 พฤศจิกายน 2026 งานทั้ง 66 รายการในรุ่นนี้มีไฟล์ task.toml อยู่ที่คอมมิตต้นทางที่ตรึงไว้ คลังซอร์สยังมีงานรุ่นเก่าและไฟล์สำหรับทดสอบ ซึ่งอยู่นอกขอบเขตการสำรวจนี้ รุ่นเผยแพร่และบัญชีงานทางการ
การตั้งค่าสภาพแวดล้อมหลักของงานระบุ CPU ตั้งแต่ 2 ถึง 16 ตัว และหน่วยความจำตั้งแต่ 4,096 ถึง 32,768 MB ค่า CPU ที่พบบ่อยที่สุดคือ 2 ตัว พบใน 44 งาน ส่วนค่าหน่วยความจำที่พบบ่อยที่สุดคือ 4,096 MB พบใน 35 งาน งานที่เหลือระบุค่าที่สูงกว่าในแต่ละรายการ
กราฟทั้งสองส่วนครอบคลุมสภาพแวดล้อมของงาน 66 รายการชุดเดียวกัน ค่าที่แสดงมาจากไฟล์กำหนดค่าของรุ่นนี้โดยตรง ข้อมูลที่รวบรวมทั้งหมด มี URL ที่ตรึงไว้และแฮชของไฟล์ต้นทางสำหรับแต่ละงาน
การใช้สภาพแวดล้อมแบบเดียวกันอาจช่วยให้ทีมจัดคิวงานได้ง่ายขึ้น แต่จะเปลี่ยนเงื่อนไขที่ระบุไว้บางส่วนหากตัวเรียกใช้งานไม่ใช้การตั้งค่าเฉพาะงานในสภาพแวดล้อมนั้น การมีฮาร์ดแวร์เพิ่มขึ้นก็ยังต้องควบคุมเพดานเดิมหากต้องการรักษาขีดจำกัดที่ต่ำกว่าไว้ การเปรียบเทียบจึงต้องพิจารณาว่าตัวเรียกใช้งานและระบบเบื้องหลังบังคับใช้เงื่อนไขใดจริง
ชุดค่าที่พบบ่อยเปลี่ยนเงื่อนไขที่ระบุไว้ในหลายงาน
เราประกอบชุดค่าเปรียบเทียบจากค่าที่ระบุอย่างชัดเจนและพบถี่ที่สุดในแต่ละรายการทั้งสี่รายการ
| รายการ | ค่าในชุดเปรียบเทียบ |
|---|---|
| CPU | 2 |
| หน่วยความจำ | 4,096 MB |
| พื้นที่จัดเก็บ | 10,240 MB |
| GPU | 0 |
ชุดค่านี้จัดทำเพื่อการวิเคราะห์ครั้งนี้ ค่าเริ่มต้นของ Harbor คำแนะนำของผู้ให้บริการ และการตั้งค่าที่พบในการใช้งานจริงเป็นข้อมูลคนละประเภท แต่ละค่าพบบ่อยเมื่อพิจารณาแยกกัน ส่วนการตั้งค่าทั้งชุดแบบใดพบบ่อยที่สุดต้องตรวจอีกครั้ง
เราตรวจแต่ละงานว่ามีค่าที่ระบุชัดเจนสูงกว่าค่าเปรียบเทียบในรายการเดียวกันหรือไม่ พบ 38 จาก 66 งาน หากแยกตามรายการ พบ 22 งานสำหรับ CPU, 31 งานสำหรับหน่วยความจำ, 17 งานสำหรับพื้นที่จัดเก็บ และ 3 งานสำหรับจำนวน GPU บางงานอยู่ในหลายกลุ่ม การนำจำนวนมาบวกกันจึงทำให้นับซ้ำ ผลการเปรียบเทียบ มีรายชื่องานที่ตรงเงื่อนไขรวมและรายชื่อแยกตามรายการ
งานอีก 28 งานไม่มีค่าที่บันทึกไว้สูงกว่าค่าเปรียบเทียบทั้งสี่รายการ ความเข้ากันได้ของงานเหล่านั้นกับชุดค่านี้ยังต้องตรวจเพิ่มเติม มี 8 งานที่ไม่ระบุจำนวน GPU และการเปรียบเทียบยังคงแยกกรณีดังกล่าวออกจากการระบุค่าเป็นศูนย์ ไฟล์ คอนเทนเนอร์เสริม อิมเมจ และบริการอาจมีข้อกำหนดเพิ่มเติมนอกเหนือจากสี่รายการนี้
หากจะรันโดยไม่ใช้ GPU ผู้ดูแล Terminal-Bench 4.1.0 มี ชุดงานสำหรับ CPU โดยเฉพาะจำนวน 63 งาน ให้ใช้งาน รันด้วย harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 และระบุให้ชัดว่าผลมาจากชุดนี้เมื่อรายงานควบคู่กับคะแนนของรุ่นเต็ม 66 งาน แม้เป็นชุดสำหรับ CPU ก็ยังต้องตรวจว่าแต่ละงานอยู่ภายในเพดาน CPU หน่วยความจำ หรือพื้นที่จัดเก็บที่ต้องการหรือไม่
ใช้รายชื่องานที่เกินค่าเปรียบเทียบเพื่อตรวจว่าการตั้งค่าแบบเดียวกันจะเปลี่ยนเงื่อนไขใดบ้าง วิธีนี้ช่วยทบทวนการตั้งค่าก่อนเริ่มรันได้
ตัวเรียกใช้งานและระบบเบื้องหลังตีความค่าที่ระบุไว้
ไฟล์ของงานเป็นเพียงส่วนหนึ่งของการตั้งค่าการประเมิน เราตรวจซอร์สของ Harbor ที่คอมมิตที่ตรึงไว้เพื่อดูว่าระบบนำค่าไปใช้อย่างไร ข้อมูลกำกับของแพ็กเกจระบุเวอร์ชัน 0.26.0
ในซอร์สที่ตรวจ ค่าที่กำหนดในแต่ละรอบทดสอบใช้แทนค่าของงานได้ นโยบาย CPU และหน่วยความจำยังกำหนดได้ว่าจะใช้หรือข้ามค่าที่ระบุไว้ หากไม่มีค่า CPU หน่วยความจำ หรือพื้นที่จัดเก็บ ตัวอ่านไฟล์จะคงค่าเป็น null ได้ ส่วนสภาพแวดล้อมพื้นฐานจะใช้จำนวน GPU เป็นศูนย์เมื่อไฟล์ไม่ได้ระบุ การสำรวจเก็บข้อมูลว่าเดิมเว้นค่าใดไว้ เพื่อให้แยกการตั้งค่าที่ผู้เขียนระบุออกจากค่าที่ตัวเรียกใช้งานตีความ ตรรกะการตั้งค่าสภาพแวดล้อมในซอร์ส Harbor ที่ตรึงไว้
ระบบเบื้องหลังมีวิธีบังคับใช้ของตนเอง ใน Docker adapter ที่ตรวจ นโยบายอัตโนมัติของ CPU และหน่วยความจำจะกลายเป็นขีดจำกัด ตัว adapter ข้ามการเลือกชนิด GPU โดยตรง และส่วนที่เขียนค่าทรัพยากรของ Compose ไม่ได้เขียนเพดานพื้นที่จัดเก็บ มี 3 งานที่ระบุ H100 ไว้ชัดเจน แต่ต้องอาศัยหลักฐานเพิ่มเติมจึงจะทราบว่าการรันบน Docker ได้ GPU รุ่นนั้นจริง ค่าของ storage_mb เพียงช่องเดียวก็ยังไม่ยืนยันขีดจำกัดพื้นที่ดิสก์ของ Docker การตั้งค่า Compose ที่มีอยู่อาจกำหนดเงื่อนไขเพิ่ม และระบบเบื้องหลังอื่นมีวิธีทำงานของตนเอง ตัวเชื่อมต่อ Docker, ส่วนที่เขียนค่าทรัพยากรของ Compose
เพื่อให้ทำการประเมินซ้ำได้ ให้เก็บค่าที่ประกาศไว้และบันทึกด้วยว่าระบบเบื้องหลังที่เลือกนำค่าไปใช้อย่างไร ค่าที่ขอและทรัพยากรที่ระบบจัดสรรจริงให้ข้อมูลคนละอย่าง
บันทึกค่าที่ขอและทรัพยากรที่ตรวจพบว่าจัดสรรจริงไว้คนละช่อง
บันทึกเวลาที่จำกัดให้เอเจนต์และการตั้งค่าตัวตรวจสอบแยกกัน
ไฟล์ของงานทั้ง 66 รายการระบุขีดจำกัดเวลาของเอเจนต์ไว้ที่ 28,800 วินาที หรือ 8 ชั่วโมง ตัวเลขนี้เป็นเพดานที่ตั้งไว้ ส่วนเวลาที่ใช้จริงต้องวัดอีกครั้ง ขีดจำกัดเวลาของตัวตรวจสอบอยู่ระหว่าง 60 ถึง 18,000 วินาที ส่วนขีดจำกัดเวลาสร้างสภาพแวดล้อมอยู่ระหว่าง 300 ถึง 18,000 วินาที แต่ละช่วงจึงควรมีตัวเลขของตนเองเมื่อประมาณเวลา
ตัวเรียกใช้งานที่ตรวจรองรับค่าที่ใช้แทนค่าเดิม ค่าสูงสุด และตัวคูณสำหรับการจำกัดเวลา ฟังก์ชันที่ตรวจใช้ค่าสูงสุดก่อนนำตัวคูณมาคำนวณ การวิเคราะห์นี้ไม่ได้รวมเพดานของแต่ละช่วงเพื่อทำนายเวลาจริงทั้งหมดตั้งแต่เริ่มจนจบ การคำนวณขีดจำกัดเวลาในซอร์สที่ตรึงไว้, การคำนวณงบเวลาของแต่ละช่วง
เราใช้กฎการจำกัดเวลาจาก Harbor รุ่นที่ตรวจมาคำนวณขีดจำกัดเวลาของตัวตรวจสอบสำหรับงานทั้ง 66 รายการใน Terminal-Bench v4.1.0 เราลองตั้งค่าสูงสุดไว้ที่ 600 วินาที และลองใช้ 600 วินาทีแทนค่าเดิม โดยแยกทดสอบทั้งสองแบบและใช้ตัวคูณ 1 เหมือนกัน ขีดจำกัดเวลาสูงสุดที่คำนวณได้คือ 600 วินาทีทั้งสองแบบ การตั้งค่าสูงสุดคงขีดจำกัดเวลาที่สั้นกว่าไว้ 28 รายการ ส่วนการใช้ค่าแทนเดิมเพิ่มทั้ง 28 รายการเป็น 600 วินาที หากต้องการคงขีดจำกัดเวลาที่สั้นกว่าไว้ในรูปแบบนี้ ให้ใช้ค่าสูงสุดและบันทึกการตั้งค่าที่ใช้ วิธีที่ Harbor เลือกขีดจำกัดเวลาเริ่มต้น · วิธีที่ Harbor ใช้ค่าสูงสุดและตัวคูณ
ขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์อาจทำให้เอเจนต์ที่รันอยู่ในเครื่องหยุดก่อนถึงขีดจำกัดเวลาของตัวเอง ตัวอย่างเช่น หากกำหนดให้เอเจนต์มีเวลา 8 ชั่วโมงสำหรับงานหนึ่ง เอเจนต์จะใช้เวลาไม่ครบ 8 ชั่วโมงเมื่อรันใน งานที่โฮสต์โดย GitHub ซึ่งจำกัดเวลาไว้ที่ 6 ชั่วโมง การเตรียมการภายในงานเดียวกันก็ใช้เวลาที่มีอยู่ไปด้วย บันทึกขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์และขีดจำกัดเวลาของเอเจนต์แยกกัน
ทุกงานเลือกรูปแบบการตรวจสอบแยกไว้ชัดเจน มี 6 งานที่ให้บล็อกการตั้งค่าสภาพแวดล้อมของตัวตรวจสอบ ตัวเลือกการตั้งค่าของ Harbor ที่เราตรวจจะใช้บล็อกนั้นทั้งบล็อกเมื่อมีการระบุ โดยไม่มีการรวมทีละช่องกับสภาพแวดล้อมของงาน หากไม่มีบล็อกแยก ระบบจะคัดลอกสภาพแวดล้อมของงาน ค่าที่ใช้แทนค่าเดิมในแต่ละรอบทดสอบยังอาจเปลี่ยนการตั้งค่าตัวตรวจสอบที่ได้ ตัวเลือกการตั้งค่าของตัวตรวจสอบ
ควรบันทึกการตั้งค่าของเอเจนต์และตัวตรวจสอบแยกกัน แม้ค่าจะตรงกัน การเลือกรูปแบบการตรวจสอบแยกเพียงอย่างเดียวยังบอกไม่ได้ว่าระบบจัดสรรทรัพยากรเท่าไร หรือทั้งสองสภาพแวดล้อมใช้ทรัพยากรพร้อมกันหรือไม่
เราเปรียบเทียบค่า CPU หน่วยความจำ พื้นที่จัดเก็บ GPU ขีดจำกัดเวลา และโหมดตัวตรวจสอบบางรายการระหว่าง Terminal-Bench 4.0 กับ 4.1 ใน 66 งานที่ชื่อและพาธตรงกัน ผลเปรียบเทียบ พบการเปลี่ยนแปลงในสองงาน ขีดจำกัดเวลาของตัวตรวจสอบใน distributed-dedup เพิ่มจาก 1,800 เป็น 3,900 วินาที ส่วนค่าที่ระบุสำหรับตัวตรวจสอบใน payments-pipeline-fix เพิ่มจาก CPU 6 ตัวและหน่วยความจำ 12,288 MB เป็น CPU 8 ตัวและหน่วยความจำ 16,384 MB ค่าดังกล่าวมาจากการตั้งค่า ส่วนทรัพยากรที่จัดสรรจริงต้องตรวจแยก ประกาศ รุ่น 4.1 ระบุว่าแก้ไขครบทั้ง 66 งาน การตรวจเฉพาะรายการข้างต้นยังสรุปไม่ได้ว่าคำสั่งของงาน อิมเมจคอนเทนเนอร์ หรือตัวตรวจสอบมีผลเทียบเท่ากันหรือไม่
ดาวน์โหลด compare-versions.py และ census.json ไว้ในโฟลเดอร์เดียวกัน จากนั้นใช้ Python 3.11 ขึ้นไปพร้อมการเชื่อมต่อเครือข่ายเพื่อรัน python3 compare-versions.py > comparison.json ในโฟลเดอร์นั้น สคริปต์จะดึงทะเบียนรุ่น 4.0 ที่ตรึงไว้และข้อมูลกำกับของงานโดยไม่รันงาน รายงานที่ได้เก็บการอ้างอิงถึงต้นทางและคำขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดลไว้ด้วย
ข้อมูลที่ควรเก็บเมื่อเปลี่ยนการตั้งค่าการประเมิน
ผลสำรวจช่วยระบุสิ่งที่ควรเก็บในบันทึกการตั้งค่าแบบย่อ
- ตรึงชุดงานที่ใช้ เก็บบัญชีงานของรุ่น คอมมิตต้นทาง และพาธของงานไว้ด้วยกัน การนับไฟล์ทั้งคลังอาจรวมไฟล์ที่ไม่ได้อยู่ในรุ่นของเบนช์มาร์ก
- เก็บค่าที่งานระบุไว้เดิม บันทึกทั้งค่าที่ระบุและค่าที่เว้นไว้ รวมถึงการตั้งค่าตัวตรวจสอบแยกและขีดจำกัดเวลาของแต่ละช่วง
- บันทึกตัวเรียกใช้งานและค่าที่ใช้แทนค่าเดิม เก็บเวอร์ชันหรือคอมมิตที่ใช้จริงและตัวเลือกที่ใช้แทนหรือปรับขนาดค่าของงาน
- ตรวจนโยบายของระบบเบื้องหลัง ระบุว่ารายการใดกลายเป็นขีดจำกัด การจองทรัพยากร ค่าเริ่มต้น หรือคำขอที่ระบบไม่รองรับ
- บันทึกผลการจัดสรรเมื่อสังเกตได้ เก็บแยกจากค่าที่ขอและปริมาณที่วัดว่าใช้จริงระหว่างรัน
หากตั้งใจเปลี่ยนขีดจำกัดหรือการจัดสรร ให้บันทึกสิ่งที่เปลี่ยนพร้อมผลลัพธ์ ผู้อ่านในภายหลังจะได้ทราบว่าผลลัพธ์เกิดขึ้นภายใต้เงื่อนไขใดและเปรียบเทียบกับสภาพแวดล้อมอื่นได้อย่างไร
ผลเปรียบเทียบการตั้งค่า และ โค้ดที่ใช้วิเคราะห์ ช่วยให้ตรวจสอบงานที่เกินค่าเปรียบเทียบได้ sapien1 ใช้การตรวจงานและสภาพแวดล้อมลักษณะนี้เมื่อกำหนดขอบเขต โครงการประเมินเอเจนต์
หากต้องการเทียบกับเพดานอื่น ให้ดาวน์โหลด ตัวกรองทรัพยากร และ ข้อมูลสำรวจ ไว้ในโฟลเดอร์เดียวกัน ตัวอย่างเช่น python3 filter-census.py --cpus 4 --memory-mb 8192 --status within จะแสดงค่าที่อยู่ในขีดจำกัดดังกล่าวทั้งของงานและตัวตรวจสอบ ผลลัพธ์ยังคงแสดงว่าเดิมเว้นค่าใดไว้ ส่วนงานจะรันได้จริงหรือไม่ต้องตรวจแยก Terminal-Bench ขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดล
เปรียบเทียบงานที่ผ่านเพดานทรัพยากรแต่ละชุด
เพดานทรัพยากรทั้งสองชุดในตัวอย่างต่างเลือกได้ 44 จาก 66 งานใน Terminal-Bench v4.1.0 ทั้งสองรายการมีงานตรงกัน 36 งาน และแต่ละรายการมีงานที่อีกฝ่ายไม่มี 8 งาน ตัวกรองตรวจค่าที่ระบุไว้ของ CPU หน่วยความจำ และพื้นที่จัดเก็บเทียบกับเพดานแต่ละชุด โดยแยกสภาพแวดล้อมของงานออกจากสภาพแวดล้อมของตัวตรวจสอบผล
| จำนวน CPU | หน่วยความจำ (MB) | พื้นที่จัดเก็บ (MB) | งานที่ผ่านเพดานทั้งสามค่า |
|---|---|---|---|
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |
รันทั้งสองคำสั่งจากโฟลเดอร์ที่มีตัวกรองและไฟล์สำรวจข้อมูล ในรายงานแต่ละชุด ฟิลด์ task ใน records จะแสดงรหัสงานที่เลือก
python3 filter-census.py --cpus 4 --memory-mb 8192 \
--storage-mb 10240 --phases both --status within > ceiling-4cpu.json
python3 filter-census.py --cpus 2 --memory-mb 16384 \
--storage-mb 20480 --phases both --status within > ceiling-2cpu.json
เมื่อรายงานคะแนน ให้เก็บรหัสงานที่ตรงกับรายการจริงไว้พร้อมเวอร์ชันของเบนช์มาร์กและการตั้งค่าทรัพยากร หากเปรียบเทียบผลจากการรันสองครั้งโดยใช้งานที่ตรงกัน ให้คำนวณคะแนนทั้งสองจากรายการงานเดียวกัน
วิธีการและขอบเขต
นี่คือการสำรวจค่าที่ระบุในไฟล์กำหนดค่าของรุ่นเดียวครบทั้งชุด เก็บข้อมูลเมื่อวันที่ 17 พฤศจิกายน 2026 ขอบเขตคือค่าที่ระบุในรุ่นนี้ การสุ่มตัวอย่างเบนช์มาร์กเอเจนต์ในวงกว้างและการทดลองประสิทธิภาพต้องใช้วิธีอื่น แหล่งข้อมูลชุดงานคือ Terminal-Bench คอมมิต 4070d6c ส่วนซอร์สตัวเรียกใช้งานที่ตรวจคือ Harbor คอมมิต ec6aeab ซึ่งข้อมูลกำกับโครงการระบุเวอร์ชัน 0.26.0 ดูแฮชแบบเต็ม ลิงก์ต้นทาง กฎการดึงข้อมูล และคำสั่งทำซ้ำได้ใน รายละเอียดวิธีการ
ตัวรวบรวมอ่านบัญชีงานทางการและไฟล์ TOML 66 ไฟล์ รวมข้อมูลต้นทาง 85,966 ไบต์ ตัวรวบรวมเก็บช่องเวอร์ชันแยกกันและตรวจชื่อเรียกทรัพยากรแบบเก่า ขั้นตอนของงาน และบล็อกการตั้งค่าสภาพแวดล้อมเพิ่มเติม รุ่นนี้ไม่พบขั้นตอนของงานหรือชื่อเรียกทรัพยากรแบบเก่า ไฟล์ที่เปิดให้ดาวน์โหลดมีข้อเท็จจริงบางส่วนจากการตั้งค่าและแฮชต้นทาง คำสั่งของงาน วิธีแก้ และสภาพแวดล้อมฉบับเต็มอยู่นอกข้อมูลที่เผยแพร่
เราตรวจความเป็นสมาชิกในบัญชีงาน ผลการคำนวณ และตัวอย่างจากซอร์สอย่างอิสระ โดยตรวจงานที่มีค่านอกกลุ่มหลัก งานที่ไม่ระบุ GPU และงานที่ระบุบล็อกตัวตรวจสอบไว้ชัดเจน การตรวจครั้งนี้ไม่มีการรันโมเดล คอนเทนเนอร์ หรืองานเบนช์มาร์ก