ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

การตั้งค่าทรัพยากรของ 66 งานใน Terminal-Bench

ภาษาของบทความ: ไทย

งาน 66 งานใน Terminal-Bench v4.1.0 ระบุค่าทรัพยากรไว้ต่างกัน จากการตรวจไฟล์กำหนดค่าทั้งชุด พบว่า 31 งานระบุหน่วยความจำมากกว่า 4,096 MB และ 22 งานระบุ CPU มากกว่า 2 ตัว เมื่อใช้ค่าที่ระบุบ่อยที่สุดของ CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU มาประกอบเป็นชุดค่าเปรียบเทียบ พบว่ามี 38 งานที่ระบุค่าสูงกว่าชุดนี้อย่างน้อยหนึ่งรายการ ความแตกต่างเหล่านี้ช่วยบอกว่าทีมประเมินควรรักษาหรือบันทึกการตั้งค่าใดขณะเตรียมแซนด์บ็อกซ์ ส่วนปริมาณทรัพยากรที่ใช้จริงและโอกาสที่งานจะล้มเหลวต้องอาศัยข้อมูลอื่น

เมื่อนำเบนช์มาร์กเดิมไปรันในสภาพแวดล้อมใหม่ มีเงื่อนไขใดบ้างที่ยังคงเดิม คำตอบขึ้นอยู่กับเวอร์ชันของงานและตัวเรียกใช้งาน ค่าที่ใช้แทนค่าเดิม และนโยบายของระบบเบื้องหลัง

งานในรุ่นนี้ระบุทรัพยากรไว้หลายระดับ

เราตรวจงานทุกรายการในบัญชีงานทางการของ Terminal-Bench v4.1.0 ที่เผยแพร่เมื่อวันที่ 3 พฤศจิกายน 2026 งานทั้ง 66 รายการในรุ่นนี้มีไฟล์ task.toml อยู่ที่คอมมิตต้นทางที่ตรึงไว้ คลังซอร์สยังมีงานรุ่นเก่าและไฟล์สำหรับทดสอบ ซึ่งอยู่นอกขอบเขตการสำรวจนี้ รุ่นเผยแพร่และบัญชีงานทางการ

การตั้งค่าสภาพแวดล้อมหลักของงานระบุ CPU ตั้งแต่ 2 ถึง 16 ตัว และหน่วยความจำตั้งแต่ 4,096 ถึง 32,768 MB ค่า CPU ที่พบบ่อยที่สุดคือ 2 ตัว พบใน 44 งาน ส่วนค่าหน่วยความจำที่พบบ่อยที่สุดคือ 4,096 MB พบใน 35 งาน งานที่เหลือระบุค่าที่สูงกว่าในแต่ละรายการ

จำนวนงานที่ระบุค่า CPU และหน่วยความจำแต่ละระดับจากทั้งหมด 66 งาน ค่า CPU 2 ตัวพบใน 44 งาน, 4 ตัวใน 14 งาน, 8 ตัวใน 6 งาน และ 16 ตัวใน 2 งาน ส่วนหน่วยความจำ 4096 MB พบใน 35 งาน, 8192 MB ใน 22 งาน, 16384 MB ใน 8 งาน และ 32768 MB ใน 1 งาน
ดูภาพประกอบขนาดเต็ม

กราฟทั้งสองส่วนครอบคลุมสภาพแวดล้อมของงาน 66 รายการชุดเดียวกัน ค่าที่แสดงมาจากไฟล์กำหนดค่าของรุ่นนี้โดยตรง ข้อมูลที่รวบรวมทั้งหมด มี URL ที่ตรึงไว้และแฮชของไฟล์ต้นทางสำหรับแต่ละงาน

การใช้สภาพแวดล้อมแบบเดียวกันอาจช่วยให้ทีมจัดคิวงานได้ง่ายขึ้น แต่จะเปลี่ยนเงื่อนไขที่ระบุไว้บางส่วนหากตัวเรียกใช้งานไม่ใช้การตั้งค่าเฉพาะงานในสภาพแวดล้อมนั้น การมีฮาร์ดแวร์เพิ่มขึ้นก็ยังต้องควบคุมเพดานเดิมหากต้องการรักษาขีดจำกัดที่ต่ำกว่าไว้ การเปรียบเทียบจึงต้องพิจารณาว่าตัวเรียกใช้งานและระบบเบื้องหลังบังคับใช้เงื่อนไขใดจริง

ชุดค่าที่พบบ่อยเปลี่ยนเงื่อนไขที่ระบุไว้ในหลายงาน

เราประกอบชุดค่าเปรียบเทียบจากค่าที่ระบุอย่างชัดเจนและพบถี่ที่สุดในแต่ละรายการทั้งสี่รายการ

รายการค่าในชุดเปรียบเทียบ
CPU2
หน่วยความจำ4,096 MB
พื้นที่จัดเก็บ10,240 MB
GPU0

ชุดค่านี้จัดทำเพื่อการวิเคราะห์ครั้งนี้ ค่าเริ่มต้นของ Harbor คำแนะนำของผู้ให้บริการ และการตั้งค่าที่พบในการใช้งานจริงเป็นข้อมูลคนละประเภท แต่ละค่าพบบ่อยเมื่อพิจารณาแยกกัน ส่วนการตั้งค่าทั้งชุดแบบใดพบบ่อยที่สุดต้องตรวจอีกครั้ง

เราตรวจแต่ละงานว่ามีค่าที่ระบุชัดเจนสูงกว่าค่าเปรียบเทียบในรายการเดียวกันหรือไม่ พบ 38 จาก 66 งาน หากแยกตามรายการ พบ 22 งานสำหรับ CPU, 31 งานสำหรับหน่วยความจำ, 17 งานสำหรับพื้นที่จัดเก็บ และ 3 งานสำหรับจำนวน GPU บางงานอยู่ในหลายกลุ่ม การนำจำนวนมาบวกกันจึงทำให้นับซ้ำ ผลการเปรียบเทียบ มีรายชื่องานที่ตรงเงื่อนไขรวมและรายชื่อแยกตามรายการ

งานอีก 28 งานไม่มีค่าที่บันทึกไว้สูงกว่าค่าเปรียบเทียบทั้งสี่รายการ ความเข้ากันได้ของงานเหล่านั้นกับชุดค่านี้ยังต้องตรวจเพิ่มเติม มี 8 งานที่ไม่ระบุจำนวน GPU และการเปรียบเทียบยังคงแยกกรณีดังกล่าวออกจากการระบุค่าเป็นศูนย์ ไฟล์ คอนเทนเนอร์เสริม อิมเมจ และบริการอาจมีข้อกำหนดเพิ่มเติมนอกเหนือจากสี่รายการนี้

หากจะรันโดยไม่ใช้ GPU ผู้ดูแล Terminal-Bench 4.1.0 มี ชุดงานสำหรับ CPU โดยเฉพาะจำนวน 63 งาน ให้ใช้งาน รันด้วย harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 และระบุให้ชัดว่าผลมาจากชุดนี้เมื่อรายงานควบคู่กับคะแนนของรุ่นเต็ม 66 งาน แม้เป็นชุดสำหรับ CPU ก็ยังต้องตรวจว่าแต่ละงานอยู่ภายในเพดาน CPU หน่วยความจำ หรือพื้นที่จัดเก็บที่ต้องการหรือไม่

ใช้รายชื่องานที่เกินค่าเปรียบเทียบเพื่อตรวจว่าการตั้งค่าแบบเดียวกันจะเปลี่ยนเงื่อนไขใดบ้าง วิธีนี้ช่วยทบทวนการตั้งค่าก่อนเริ่มรันได้

ตัวเรียกใช้งานและระบบเบื้องหลังตีความค่าที่ระบุไว้

ไฟล์ของงานเป็นเพียงส่วนหนึ่งของการตั้งค่าการประเมิน เราตรวจซอร์สของ Harbor ที่คอมมิตที่ตรึงไว้เพื่อดูว่าระบบนำค่าไปใช้อย่างไร ข้อมูลกำกับของแพ็กเกจระบุเวอร์ชัน 0.26.0

ในซอร์สที่ตรวจ ค่าที่กำหนดในแต่ละรอบทดสอบใช้แทนค่าของงานได้ นโยบาย CPU และหน่วยความจำยังกำหนดได้ว่าจะใช้หรือข้ามค่าที่ระบุไว้ หากไม่มีค่า CPU หน่วยความจำ หรือพื้นที่จัดเก็บ ตัวอ่านไฟล์จะคงค่าเป็น null ได้ ส่วนสภาพแวดล้อมพื้นฐานจะใช้จำนวน GPU เป็นศูนย์เมื่อไฟล์ไม่ได้ระบุ การสำรวจเก็บข้อมูลว่าเดิมเว้นค่าใดไว้ เพื่อให้แยกการตั้งค่าที่ผู้เขียนระบุออกจากค่าที่ตัวเรียกใช้งานตีความ ตรรกะการตั้งค่าสภาพแวดล้อมในซอร์ส Harbor ที่ตรึงไว้

ระบบเบื้องหลังมีวิธีบังคับใช้ของตนเอง ใน Docker adapter ที่ตรวจ นโยบายอัตโนมัติของ CPU และหน่วยความจำจะกลายเป็นขีดจำกัด ตัว adapter ข้ามการเลือกชนิด GPU โดยตรง และส่วนที่เขียนค่าทรัพยากรของ Compose ไม่ได้เขียนเพดานพื้นที่จัดเก็บ มี 3 งานที่ระบุ H100 ไว้ชัดเจน แต่ต้องอาศัยหลักฐานเพิ่มเติมจึงจะทราบว่าการรันบน Docker ได้ GPU รุ่นนั้นจริง ค่าของ storage_mb เพียงช่องเดียวก็ยังไม่ยืนยันขีดจำกัดพื้นที่ดิสก์ของ Docker การตั้งค่า Compose ที่มีอยู่อาจกำหนดเงื่อนไขเพิ่ม และระบบเบื้องหลังอื่นมีวิธีทำงานของตนเอง ตัวเชื่อมต่อ Docker, ส่วนที่เขียนค่าทรัพยากรของ Compose

เพื่อให้ทำการประเมินซ้ำได้ ให้เก็บค่าที่ประกาศไว้และบันทึกด้วยว่าระบบเบื้องหลังที่เลือกนำค่าไปใช้อย่างไร ค่าที่ขอและทรัพยากรที่ระบบจัดสรรจริงให้ข้อมูลคนละอย่าง

ข้อมูลสี่ระดับที่ควรบันทึกในการประเมิน ได้แก่ ค่าของงานจากต้นทางที่ตรึงไว้ เวอร์ชันของตัวเรียกใช้งานและค่าที่ใช้แทนค่าเดิม นโยบายทรัพยากรของระบบเบื้องหลัง และทรัพยากรที่พบว่าระบบจัดสรรจริงเมื่อมีข้อมูล
ดูภาพประกอบขนาดเต็ม

บันทึกค่าที่ขอและทรัพยากรที่ตรวจพบว่าจัดสรรจริงไว้คนละช่อง

บันทึกเวลาที่จำกัดให้เอเจนต์และการตั้งค่าตัวตรวจสอบแยกกัน

ไฟล์ของงานทั้ง 66 รายการระบุขีดจำกัดเวลาของเอเจนต์ไว้ที่ 28,800 วินาที หรือ 8 ชั่วโมง ตัวเลขนี้เป็นเพดานที่ตั้งไว้ ส่วนเวลาที่ใช้จริงต้องวัดอีกครั้ง ขีดจำกัดเวลาของตัวตรวจสอบอยู่ระหว่าง 60 ถึง 18,000 วินาที ส่วนขีดจำกัดเวลาสร้างสภาพแวดล้อมอยู่ระหว่าง 300 ถึง 18,000 วินาที แต่ละช่วงจึงควรมีตัวเลขของตนเองเมื่อประมาณเวลา

ตัวเรียกใช้งานที่ตรวจรองรับค่าที่ใช้แทนค่าเดิม ค่าสูงสุด และตัวคูณสำหรับการจำกัดเวลา ฟังก์ชันที่ตรวจใช้ค่าสูงสุดก่อนนำตัวคูณมาคำนวณ การวิเคราะห์นี้ไม่ได้รวมเพดานของแต่ละช่วงเพื่อทำนายเวลาจริงทั้งหมดตั้งแต่เริ่มจนจบ การคำนวณขีดจำกัดเวลาในซอร์สที่ตรึงไว้, การคำนวณงบเวลาของแต่ละช่วง

เราใช้กฎการจำกัดเวลาจาก Harbor รุ่นที่ตรวจมาคำนวณขีดจำกัดเวลาของตัวตรวจสอบสำหรับงานทั้ง 66 รายการใน Terminal-Bench v4.1.0 เราลองตั้งค่าสูงสุดไว้ที่ 600 วินาที และลองใช้ 600 วินาทีแทนค่าเดิม โดยแยกทดสอบทั้งสองแบบและใช้ตัวคูณ 1 เหมือนกัน ขีดจำกัดเวลาสูงสุดที่คำนวณได้คือ 600 วินาทีทั้งสองแบบ การตั้งค่าสูงสุดคงขีดจำกัดเวลาที่สั้นกว่าไว้ 28 รายการ ส่วนการใช้ค่าแทนเดิมเพิ่มทั้ง 28 รายการเป็น 600 วินาที หากต้องการคงขีดจำกัดเวลาที่สั้นกว่าไว้ในรูปแบบนี้ ให้ใช้ค่าสูงสุดและบันทึกการตั้งค่าที่ใช้ วิธีที่ Harbor เลือกขีดจำกัดเวลาเริ่มต้น · วิธีที่ Harbor ใช้ค่าสูงสุดและตัวคูณ

ขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์อาจทำให้เอเจนต์ที่รันอยู่ในเครื่องหยุดก่อนถึงขีดจำกัดเวลาของตัวเอง ตัวอย่างเช่น หากกำหนดให้เอเจนต์มีเวลา 8 ชั่วโมงสำหรับงานหนึ่ง เอเจนต์จะใช้เวลาไม่ครบ 8 ชั่วโมงเมื่อรันใน งานที่โฮสต์โดย GitHub ซึ่งจำกัดเวลาไว้ที่ 6 ชั่วโมง การเตรียมการภายในงานเดียวกันก็ใช้เวลาที่มีอยู่ไปด้วย บันทึกขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์และขีดจำกัดเวลาของเอเจนต์แยกกัน

ทุกงานเลือกรูปแบบการตรวจสอบแยกไว้ชัดเจน มี 6 งานที่ให้บล็อกการตั้งค่าสภาพแวดล้อมของตัวตรวจสอบ ตัวเลือกการตั้งค่าของ Harbor ที่เราตรวจจะใช้บล็อกนั้นทั้งบล็อกเมื่อมีการระบุ โดยไม่มีการรวมทีละช่องกับสภาพแวดล้อมของงาน หากไม่มีบล็อกแยก ระบบจะคัดลอกสภาพแวดล้อมของงาน ค่าที่ใช้แทนค่าเดิมในแต่ละรอบทดสอบยังอาจเปลี่ยนการตั้งค่าตัวตรวจสอบที่ได้ ตัวเลือกการตั้งค่าของตัวตรวจสอบ

ควรบันทึกการตั้งค่าของเอเจนต์และตัวตรวจสอบแยกกัน แม้ค่าจะตรงกัน การเลือกรูปแบบการตรวจสอบแยกเพียงอย่างเดียวยังบอกไม่ได้ว่าระบบจัดสรรทรัพยากรเท่าไร หรือทั้งสองสภาพแวดล้อมใช้ทรัพยากรพร้อมกันหรือไม่

เราเปรียบเทียบค่า CPU หน่วยความจำ พื้นที่จัดเก็บ GPU ขีดจำกัดเวลา และโหมดตัวตรวจสอบบางรายการระหว่าง Terminal-Bench 4.0 กับ 4.1 ใน 66 งานที่ชื่อและพาธตรงกัน ผลเปรียบเทียบ พบการเปลี่ยนแปลงในสองงาน ขีดจำกัดเวลาของตัวตรวจสอบใน distributed-dedup เพิ่มจาก 1,800 เป็น 3,900 วินาที ส่วนค่าที่ระบุสำหรับตัวตรวจสอบใน payments-pipeline-fix เพิ่มจาก CPU 6 ตัวและหน่วยความจำ 12,288 MB เป็น CPU 8 ตัวและหน่วยความจำ 16,384 MB ค่าดังกล่าวมาจากการตั้งค่า ส่วนทรัพยากรที่จัดสรรจริงต้องตรวจแยก ประกาศ รุ่น 4.1 ระบุว่าแก้ไขครบทั้ง 66 งาน การตรวจเฉพาะรายการข้างต้นยังสรุปไม่ได้ว่าคำสั่งของงาน อิมเมจคอนเทนเนอร์ หรือตัวตรวจสอบมีผลเทียบเท่ากันหรือไม่

ดาวน์โหลด compare-versions.py และ census.json ไว้ในโฟลเดอร์เดียวกัน จากนั้นใช้ Python 3.11 ขึ้นไปพร้อมการเชื่อมต่อเครือข่ายเพื่อรัน python3 compare-versions.py > comparison.json ในโฟลเดอร์นั้น สคริปต์จะดึงทะเบียนรุ่น 4.0 ที่ตรึงไว้และข้อมูลกำกับของงานโดยไม่รันงาน รายงานที่ได้เก็บการอ้างอิงถึงต้นทางและคำขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดลไว้ด้วย

ข้อมูลที่ควรเก็บเมื่อเปลี่ยนการตั้งค่าการประเมิน

ผลสำรวจช่วยระบุสิ่งที่ควรเก็บในบันทึกการตั้งค่าแบบย่อ

  1. ตรึงชุดงานที่ใช้ เก็บบัญชีงานของรุ่น คอมมิตต้นทาง และพาธของงานไว้ด้วยกัน การนับไฟล์ทั้งคลังอาจรวมไฟล์ที่ไม่ได้อยู่ในรุ่นของเบนช์มาร์ก
  2. เก็บค่าที่งานระบุไว้เดิม บันทึกทั้งค่าที่ระบุและค่าที่เว้นไว้ รวมถึงการตั้งค่าตัวตรวจสอบแยกและขีดจำกัดเวลาของแต่ละช่วง
  3. บันทึกตัวเรียกใช้งานและค่าที่ใช้แทนค่าเดิม เก็บเวอร์ชันหรือคอมมิตที่ใช้จริงและตัวเลือกที่ใช้แทนหรือปรับขนาดค่าของงาน
  4. ตรวจนโยบายของระบบเบื้องหลัง ระบุว่ารายการใดกลายเป็นขีดจำกัด การจองทรัพยากร ค่าเริ่มต้น หรือคำขอที่ระบบไม่รองรับ
  5. บันทึกผลการจัดสรรเมื่อสังเกตได้ เก็บแยกจากค่าที่ขอและปริมาณที่วัดว่าใช้จริงระหว่างรัน

หากตั้งใจเปลี่ยนขีดจำกัดหรือการจัดสรร ให้บันทึกสิ่งที่เปลี่ยนพร้อมผลลัพธ์ ผู้อ่านในภายหลังจะได้ทราบว่าผลลัพธ์เกิดขึ้นภายใต้เงื่อนไขใดและเปรียบเทียบกับสภาพแวดล้อมอื่นได้อย่างไร

ผลเปรียบเทียบการตั้งค่า และ โค้ดที่ใช้วิเคราะห์ ช่วยให้ตรวจสอบงานที่เกินค่าเปรียบเทียบได้ sapien1 ใช้การตรวจงานและสภาพแวดล้อมลักษณะนี้เมื่อกำหนดขอบเขต โครงการประเมินเอเจนต์

หากต้องการเทียบกับเพดานอื่น ให้ดาวน์โหลด ตัวกรองทรัพยากร และ ข้อมูลสำรวจ ไว้ในโฟลเดอร์เดียวกัน ตัวอย่างเช่น python3 filter-census.py --cpus 4 --memory-mb 8192 --status within จะแสดงค่าที่อยู่ในขีดจำกัดดังกล่าวทั้งของงานและตัวตรวจสอบ ผลลัพธ์ยังคงแสดงว่าเดิมเว้นค่าใดไว้ ส่วนงานจะรันได้จริงหรือไม่ต้องตรวจแยก Terminal-Bench ขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดล

เปรียบเทียบงานที่ผ่านเพดานทรัพยากรแต่ละชุด

เพดานทรัพยากรทั้งสองชุดในตัวอย่างต่างเลือกได้ 44 จาก 66 งานใน Terminal-Bench v4.1.0 ทั้งสองรายการมีงานตรงกัน 36 งาน และแต่ละรายการมีงานที่อีกฝ่ายไม่มี 8 งาน ตัวกรองตรวจค่าที่ระบุไว้ของ CPU หน่วยความจำ และพื้นที่จัดเก็บเทียบกับเพดานแต่ละชุด โดยแยกสภาพแวดล้อมของงานออกจากสภาพแวดล้อมของตัวตรวจสอบผล

จำนวน CPUหน่วยความจำ (MB)พื้นที่จัดเก็บ (MB)งานที่ผ่านเพดานทั้งสามค่า
48,19210,24044
216,38420,48044

รันทั้งสองคำสั่งจากโฟลเดอร์ที่มีตัวกรองและไฟล์สำรวจข้อมูล ในรายงานแต่ละชุด ฟิลด์ task ใน records จะแสดงรหัสงานที่เลือก

python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json

เมื่อรายงานคะแนน ให้เก็บรหัสงานที่ตรงกับรายการจริงไว้พร้อมเวอร์ชันของเบนช์มาร์กและการตั้งค่าทรัพยากร หากเปรียบเทียบผลจากการรันสองครั้งโดยใช้งานที่ตรงกัน ให้คำนวณคะแนนทั้งสองจากรายการงานเดียวกัน

วิธีการและขอบเขต

นี่คือการสำรวจค่าที่ระบุในไฟล์กำหนดค่าของรุ่นเดียวครบทั้งชุด เก็บข้อมูลเมื่อวันที่ 17 พฤศจิกายน 2026 ขอบเขตคือค่าที่ระบุในรุ่นนี้ การสุ่มตัวอย่างเบนช์มาร์กเอเจนต์ในวงกว้างและการทดลองประสิทธิภาพต้องใช้วิธีอื่น แหล่งข้อมูลชุดงานคือ Terminal-Bench คอมมิต 4070d6c ส่วนซอร์สตัวเรียกใช้งานที่ตรวจคือ Harbor คอมมิต ec6aeab ซึ่งข้อมูลกำกับโครงการระบุเวอร์ชัน 0.26.0 ดูแฮชแบบเต็ม ลิงก์ต้นทาง กฎการดึงข้อมูล และคำสั่งทำซ้ำได้ใน รายละเอียดวิธีการ

ตัวรวบรวมอ่านบัญชีงานทางการและไฟล์ TOML 66 ไฟล์ รวมข้อมูลต้นทาง 85,966 ไบต์ ตัวรวบรวมเก็บช่องเวอร์ชันแยกกันและตรวจชื่อเรียกทรัพยากรแบบเก่า ขั้นตอนของงาน และบล็อกการตั้งค่าสภาพแวดล้อมเพิ่มเติม รุ่นนี้ไม่พบขั้นตอนของงานหรือชื่อเรียกทรัพยากรแบบเก่า ไฟล์ที่เปิดให้ดาวน์โหลดมีข้อเท็จจริงบางส่วนจากการตั้งค่าและแฮชต้นทาง คำสั่งของงาน วิธีแก้ และสภาพแวดล้อมฉบับเต็มอยู่นอกข้อมูลที่เผยแพร่

เราตรวจความเป็นสมาชิกในบัญชีงาน ผลการคำนวณ และตัวอย่างจากซอร์สอย่างอิสระ โดยตรวจงานที่มีค่านอกกลุ่มหลัก งานที่ไม่ระบุ GPU และงานที่ระบุบล็อกตัวตรวจสอบไว้ชัดเจน การตรวจครั้งนี้ไม่มีการรันโมเดล คอนเทนเนอร์ หรืองานเบนช์มาร์ก