# การสำรวจการตั้งค่าทรัพยากรของ Terminal-Bench

สร้างเมื่อ: 2026-11-17
อัปเดตเมื่อ: 2026-11-17

## คำถามและประชากร

การใช้ค่าตั้งต้นชุดเดียวสำหรับแซนด์บ็อกซ์จะเปลี่ยนค่าที่แต่ละงานระบุไว้รายการใดบ้างใน Terminal-Bench v4.1.0 การศึกษานี้เปรียบเทียบการตั้งค่าที่เผยแพร่ เพื่อให้ทีมประเมินเลือกและบันทึกการตั้งค่าสภาพแวดล้อมได้ โดยไม่ได้ประมาณการใช้ทรัพยากรจริง ฮาร์ดแวร์ขั้นต่ำ ราคา เวลาที่ใช้จนเสร็จ ประสิทธิภาพของโมเดล หรือความน่าจะเป็นที่จะล้มเหลว

ประชากรประกอบด้วยงานทั้ง 66 รายการในแมนิเฟสต์รุ่น v4.1.0 อย่างเป็นทางการ ไม่ใช่ทุกไฟล์ที่มีลักษณะเป็นงานในรีโพซิทอรี รุ่นนี้เผยแพร่เมื่อ 3 พฤศจิกายน 2026 เราอ่านเมทาดาทาการตั้งค่าเมื่อ 17 พฤศจิกายน 2026 [การ์ดชุดข้อมูลอย่างเป็นทางการ](https://huggingface.co/datasets/harborframework/terminal-bench)ระบุรุ่นและ[แมนิเฟสต์](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json)ของรุ่นนั้น รีโพซิทอรีต้นทางตรึงไว้ที่ commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` ใน `harbor-framework/terminal-bench`

ค่า SHA-256 ของแมนิเฟสต์คือ `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262` ข้อสังเกตแต่ละรายการมี URL ต้นทางที่ตรึงเวอร์ชันและค่า SHA-256 ของ `task.toml` ต้นทางฉบับสมบูรณ์ ไม่รวมงานเก่า ไฟล์ทดสอบ CI และเทมเพลตที่อยู่นอกแมนิเฟสต์รุ่นนี้ ไม่มีการเรียกใช้งาน คอนเทนเนอร์ โมเดล หรือสคริปต์ตรวจสอบใดๆ

## การดึงข้อมูล

หน่วยที่ศึกษาคืองานหนึ่งรายการในแมนิเฟสต์ ตัวเก็บข้อมูลแยกวิเคราะห์ TOML ด้วยไลบรารีมาตรฐานของ Python และบันทึกค่า CPU หน่วยความจำ พื้นที่จัดเก็บ GPU ประเภท GPU TPU และเวลาหมดเวลาสำหรับการสร้างที่ระบุไว้อย่างชัดเจนในสภาพแวดล้อมระดับบนสุด โดยคงฟิลด์ที่ละไว้ให้เป็นฟิลด์ที่ละไว้ ค่าเวลาหมดเวลาของเอเจนต์และตัวตรวจสอบแยกจากกัน ค่าเชิงตัวเลข `1200` และ `1200.0` ถือว่าเท่ากันในการนับสรุป แต่ข้อสังเกตจากต้นทางยังคงชนิดข้อมูลที่แยกวิเคราะห์ได้

การมีบล็อกสภาพแวดล้อมของตัวตรวจสอบบันทึกแยกจากการมีฟิลด์ทรัพยากร ตัวเก็บข้อมูลยังเก็บ schema_version, version ระดับบนสุดแบบเก่า และ version ของงานแยกกัน รวมถึงทำเครื่องหมายชื่อฟิลด์ทรัพยากรแบบเก่า ขั้นตอน และบล็อกสภาพแวดล้อมเพิ่มเติม ไม่พบชื่อฟิลด์ทรัพยากรแบบเก่าหรือขั้นตอนในรุ่นนี้ มี 6 งานที่ระบุบล็อกสภาพแวดล้อมของตัวตรวจสอบไว้อย่างชัดเจน ข้อสังเกตฉบับเต็มเก็บฟิลด์ที่เลือกจากบล็อกเหล่านี้ไว้ ส่วนการกระจาย CPU/RAM หลักครอบคลุมเฉพาะสภาพแวดล้อมระดับบนสุดของงาน

ไฟล์ TOML ต้นทางทั้ง 66 ไฟล์มีขนาดรวม 85,966 ไบต์ ข้อมูลที่ดึงออกมาและเผยแพร่ประกอบด้วยข้อเท็จจริงการตั้งค่าที่เลือก ชื่อฟิลด์ ตัวระบุงาน และแฮชของแหล่งข้อมูล โดยไม่รวมคำสั่งของงาน วิธีแก้ การทดสอบ ข้อมูลติดต่อผู้เขียน หรือค่าตัวแปรสภาพแวดล้อม แพ็กเกจนี้ไม่ได้แจกจ่ายไฟล์ต้นทางฉบับเต็มหรืออิมเมจของเบนช์มาร์กซ้ำ

## การเปรียบเทียบที่สร้างขึ้น

สำหรับแต่ละรายการ ได้แก่ CPU หน่วยความจำ พื้นที่จัดเก็บ และจำนวน GPU เราเลือกค่าที่ระบุไว้อย่างชัดเจนและพบบ่อยที่สุดในข้อกำหนดสภาพแวดล้อมระดับบนสุดทั้ง 66 รายการ ได้แก่ 2 CPU หน่วยความจำ 4,096 MB พื้นที่จัดเก็บ 10,240 MB และ 0 GPU เมื่อนำค่าเหล่านี้มารวมกันจึงได้ค่าตั้งต้นสำหรับเปรียบเทียบของเรา ค่านี้ไม่ใช่ค่าเริ่มต้นของ Harbor คำแนะนำจากผู้ขาย หรือการตั้งค่าการประเมินที่สังเกตพบ

งานจะอยู่ในชุด “สูงกว่าค่าตั้งต้นสำหรับเปรียบเทียบ” หากมีค่าเชิงตัวเลขที่ระบุไว้อย่างน้อยหนึ่งค่าสูงกว่าค่าตั้งต้นของทรัพยากรรายการเดียวกัน เรานับยูเนียนของตัวระบุงาน ไม่ใช่ผลรวมจำนวนงานของแต่ละฟิลด์ ค่า GPU ที่ขาดไปไม่ถือเป็นศูนย์และไม่นับเป็นกรณีที่สูงกว่าค่าตั้งต้น งาน 8 รายการที่ละจำนวน GPU ไว้ยังระบุได้ในข้อมูลต้นทาง ยูเนียน 38 งานวัดความแตกต่างของค่าที่ระบุไว้ ไม่ได้ทำนายว่างานจะรันหรือผ่านได้ภายใต้ค่าตั้งต้นชุดใด

เรายังนับรูปแบบการระบุค่าที่แตกต่างกันของ CPU หน่วยความจำ พื้นที่จัดเก็บ จำนวน GPU ประเภท GPU และ TPU โดยไม่รวมเวลาหมดเวลา จำนวนรูปแบบดิบคือ 27 หากกำหนดจำนวน GPU ที่ละไว้เป็นศูนย์ จำนวนจะลดลงเหลือ 22 ความไวต่อการกำหนดค่านี้เป็นเหตุผลที่บทความนำเสนอฟิลด์ทรัพยากรแต่ละรายการและการเปรียบเทียบที่ตรวจสอบได้ก่อน แทนที่จะเสนอจำนวนรูปแบบเป็นจำนวนข้อกำหนดด้านฮาร์ดแวร์

## การตีความของตัวเรียกใช้งาน

เราตรวจทานซอร์สของ Harbor ที่ commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` ซึ่งเมทาดาทาของโครงการระบุว่าเป็น version 0.26.0 ผลเหล่านี้มาจากการอ่านโค้ด ไม่ใช่การตรวจสอบด้วยการรันงานหรือระบบเบื้องหลังทั้งหมด

- [ตัวแยกวิเคราะห์งาน](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435)อนุญาตให้จำนวน CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU เป็นค่าว่างได้ และย้ายสตริงหน่วยความจำ/พื้นที่จัดเก็บแบบเก่า ฟิลด์ schema-version เป็นสตริง ส่วนกระบวนการย้าย version เพียงอย่างเดียวไม่ได้ยืนยันว่างานทุกงานจะรันได้
- [สภาพแวดล้อมพื้นฐาน](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)ใช้ค่าที่กำหนดทับสำหรับการทดลอง โดยกำหนดจำนวน GPU ที่ละไว้เป็นศูนย์ ณ จุดนั้น นโยบายละเว้น CPU/หน่วยความจำอาจทำให้ไม่นำค่าเหล่านั้นไปใช้ เรายังคงบันทึกฟิลด์ที่ละไว้ในชุดข้อมูล แม้ตัวเรียกใช้งานนี้จะแปลงฟิลด์หนึ่งเป็นค่าก็ตาม
- [ตัวกำหนดค่าสภาพแวดล้อมของตัวตรวจสอบ](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)ใช้สภาพแวดล้อมของตัวตรวจสอบที่ระบุมาเป็นชุดเดียว หากไม่มีจึงคัดลอกสภาพแวดล้อมของงาน โดยไม่รวมฟิลด์ในบล็อกตัวตรวจสอบที่ระบุไว้อย่างชัดเจนเข้ากับการตั้งค่าของเอเจนต์ทีละฟิลด์ ทั้งนี้[การสร้างการทดลอง](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104)ยังคงส่งค่าที่กำหนดทับสภาพแวดล้อมไปด้วย
- [ตัวปรับต่อ Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568)แปลงนโยบาย CPU/หน่วยความจำแบบอัตโนมัติเป็นขีดจำกัด และละเว้นการเลือกประเภท GPU อย่างชัดเจน [ตัวเขียนทรัพยากร Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)ของตัวปรับต่อนี้เขียนข้อจำกัด CPU หน่วยความจำ และจำนวน GPU แต่ไม่ได้เขียนเพดานพื้นที่จัดเก็บ การตั้งค่า Compose ที่มีอยู่และผู้ให้บริการรายอื่นอาจทำงานต่างกัน
- [การกำหนดเวลาหมดเวลา](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695)และ[การคำนวณงบเวลา](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)รองรับค่าที่กำหนดทับ ค่าสูงสุด และตัวคูณ ค่าหมดเวลาของเอเจนต์ ตัวตรวจสอบ และการสร้างที่ระบุไว้ไม่ใช่ระยะเวลาที่สังเกตได้ และไม่ได้ถือว่าผลรวมของค่าเหล่านี้เป็นขอบเขตบนของระยะเวลาการทดลองทั้งหมด

การสำรวจนี้ไม่ได้ตรวจสอบ Dockerfile, Compose sidecar, อิมเมจ หรือบริการภายนอกทุกรายการ สิ่งเหล่านี้อาจเพิ่มความต้องการและข้อจำกัดด้านทรัพยากรนอกเหนือจากฟิลด์การตั้งค่าระดับบนสุด การศึกษานี้ไม่ได้นำไปสู่ข้อสรุปเกี่ยวกับความใช้ได้ของเบนช์มาร์กหรือการเปลี่ยนแปลงของคะแนน

## การทำซ้ำ

ใช้ Python 3.11 หรือใหม่กว่าเรียกใช้ `python3 census.py` เพื่อสร้าง `census-results.json` จาก `census.json` ที่ให้ไว้ เรียกใช้ `python3 census.py --collect` เพื่อดึงแมนิเฟสต์ที่กำหนดไว้และไฟล์ TOML ทั้ง 66 ไฟล์ที่ตรึงเวอร์ชันอีกครั้งก่อนวิเคราะห์ ตัวเก็บข้อมูลอ่านพร้อมกันได้ไม่เกิน 3 รายการ จำกัดขนาดแมนิเฟสต์ที่ 300 KB และแต่ละงานที่ 100 KB และจะหยุดเมื่อรายการในแมนิเฟสต์หรือแฮชของแมนิเฟสต์ที่ตรึงไว้ไม่ตรงกัน โดยไม่เปลี่ยนแปลงข้อมูลของผู้ให้บริการและไม่เรียกใช้โค้ดที่ดาวน์โหลดมา

เรียกใช้ `python3 render-assets.py` เพื่อสร้างภาพ SVG ต้นฉบับทั้ง 2 ภาพซ้ำ การสร้างภาพใช้ ReportLab โดยไฟล์ต้นฉบับที่เผยแพร่เรนเดอร์ด้วย ReportLab 4.4.9 และ Python 3.12.14 ภาพการกระจายอ่านผลวิเคราะห์โดยตรง ส่วนภาพที่ 2 เป็นแผนภาพระเบียนการตั้งค่าที่ผู้เขียนสร้างขึ้น ไม่ใช่ข้อมูลจากการสังเกต SVG ทั้ง 2 ภาพคงข้อความ ชื่อภาพ และคำอธิบายที่เข้าถึงได้ไว้

เบนช์มาร์กต้นทางใช้ [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE) ลิขสิทธิ์ของแหล่งข้อมูลยังเป็นของผู้เขียนแต่ละราย แพ็กเกจนี้ประกอบด้วยข้อเท็จจริงที่ Sapien1 เลือกดึงมาและการวิเคราะห์ต้นฉบับ โดยไม่ได้ให้สิทธิ์ในสินทรัพย์ของงานหรือเนื้อหาในคอนเทนเนอร์ของบุคคลที่สาม
