# การตั้งค่าทรัพยากรของ 66 งานใน Terminal-Bench

งาน 66 งานใน Terminal-Bench v4.1.0 ระบุค่าทรัพยากรไว้ต่างกัน จากการตรวจไฟล์กำหนดค่าทั้งชุด พบว่า 31 งานระบุหน่วยความจำมากกว่า 4,096 MB และ 22 งานระบุ CPU มากกว่า 2 ตัว เมื่อใช้ค่าที่ระบุบ่อยที่สุดของ CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU มาประกอบเป็นชุดค่าเปรียบเทียบ พบว่ามี 38 งานที่ระบุค่าสูงกว่าชุดนี้อย่างน้อยหนึ่งรายการ ความแตกต่างเหล่านี้ช่วยบอกว่าทีมประเมินควรรักษาหรือบันทึกการตั้งค่าใดขณะเตรียมแซนด์บ็อกซ์ ส่วนปริมาณทรัพยากรที่ใช้จริงและโอกาสที่งานจะล้มเหลวต้องอาศัยข้อมูลอื่น

เมื่อนำเบนช์มาร์กเดิมไปรันในสภาพแวดล้อมใหม่ มีเงื่อนไขใดบ้างที่ยังคงเดิม คำตอบขึ้นอยู่กับเวอร์ชันของงานและตัวเรียกใช้งาน ค่าที่ใช้แทนค่าเดิม และนโยบายของระบบเบื้องหลัง

## งานในรุ่นนี้ระบุทรัพยากรไว้หลายระดับ

เราตรวจงานทุกรายการในบัญชีงานทางการของ Terminal-Bench v4.1.0 ที่เผยแพร่เมื่อวันที่ 3 พฤศจิกายน 2026 งานทั้ง 66 รายการในรุ่นนี้มีไฟล์ `task.toml` อยู่ที่คอมมิตต้นทางที่ตรึงไว้ คลังซอร์สยังมีงานรุ่นเก่าและไฟล์สำหรับทดสอบ ซึ่งอยู่นอกขอบเขตการสำรวจนี้ [รุ่นเผยแพร่และบัญชีงานทางการ](https://huggingface.co/datasets/harborframework/terminal-bench)

การตั้งค่าสภาพแวดล้อมหลักของงานระบุ CPU ตั้งแต่ 2 ถึง 16 ตัว และหน่วยความจำตั้งแต่ 4,096 ถึง 32,768 MB ค่า CPU ที่พบบ่อยที่สุดคือ 2 ตัว พบใน 44 งาน ส่วนค่าหน่วยความจำที่พบบ่อยที่สุดคือ 4,096 MB พบใน 35 งาน งานที่เหลือระบุค่าที่สูงกว่าในแต่ละรายการ

![จำนวนงานที่ระบุค่า CPU และหน่วยความจำแต่ละระดับจากทั้งหมด 66 งาน ค่า CPU 2 ตัวพบใน 44 งาน, 4 ตัวใน 14 งาน, 8 ตัวใน 6 งาน และ 16 ตัวใน 2 งาน ส่วนหน่วยความจำ 4096 MB พบใน 35 งาน, 8192 MB ใน 22 งาน, 16384 MB ใน 8 งาน และ 32768 MB ใน 1 งาน](https://sapien1.com/research/terminal-bench-resource-settings/figures/th/resource-distribution.svg)

กราฟทั้งสองส่วนครอบคลุมสภาพแวดล้อมของงาน 66 รายการชุดเดียวกัน ค่าที่แสดงมาจากไฟล์กำหนดค่าของรุ่นนี้โดยตรง [ข้อมูลที่รวบรวมทั้งหมด](https://sapien1.com/research/terminal-bench-resource-settings/census.json) มี URL ที่ตรึงไว้และแฮชของไฟล์ต้นทางสำหรับแต่ละงาน

การใช้สภาพแวดล้อมแบบเดียวกันอาจช่วยให้ทีมจัดคิวงานได้ง่ายขึ้น แต่จะเปลี่ยนเงื่อนไขที่ระบุไว้บางส่วนหากตัวเรียกใช้งานไม่ใช้การตั้งค่าเฉพาะงานในสภาพแวดล้อมนั้น การมีฮาร์ดแวร์เพิ่มขึ้นก็ยังต้องควบคุมเพดานเดิมหากต้องการรักษาขีดจำกัดที่ต่ำกว่าไว้ การเปรียบเทียบจึงต้องพิจารณาว่าตัวเรียกใช้งานและระบบเบื้องหลังบังคับใช้เงื่อนไขใดจริง

## ชุดค่าที่พบบ่อยเปลี่ยนเงื่อนไขที่ระบุไว้ในหลายงาน

เราประกอบชุดค่าเปรียบเทียบจากค่าที่ระบุอย่างชัดเจนและพบถี่ที่สุดในแต่ละรายการทั้งสี่รายการ

| รายการ | ค่าในชุดเปรียบเทียบ |
| --- | ---: |
| CPU | 2 |
| หน่วยความจำ | 4,096 MB |
| พื้นที่จัดเก็บ | 10,240 MB |
| GPU | 0 |

ชุดค่านี้จัดทำเพื่อการวิเคราะห์ครั้งนี้ ค่าเริ่มต้นของ Harbor คำแนะนำของผู้ให้บริการ และการตั้งค่าที่พบในการใช้งานจริงเป็นข้อมูลคนละประเภท แต่ละค่าพบบ่อยเมื่อพิจารณาแยกกัน ส่วนการตั้งค่าทั้งชุดแบบใดพบบ่อยที่สุดต้องตรวจอีกครั้ง

เราตรวจแต่ละงานว่ามีค่าที่ระบุชัดเจนสูงกว่าค่าเปรียบเทียบในรายการเดียวกันหรือไม่ พบ **38 จาก 66 งาน** หากแยกตามรายการ พบ 22 งานสำหรับ CPU, 31 งานสำหรับหน่วยความจำ, 17 งานสำหรับพื้นที่จัดเก็บ และ 3 งานสำหรับจำนวน GPU บางงานอยู่ในหลายกลุ่ม การนำจำนวนมาบวกกันจึงทำให้นับซ้ำ [ผลการเปรียบเทียบ](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) มีรายชื่องานที่ตรงเงื่อนไขรวมและรายชื่อแยกตามรายการ

งานอีก 28 งานไม่มีค่าที่บันทึกไว้สูงกว่าค่าเปรียบเทียบทั้งสี่รายการ ความเข้ากันได้ของงานเหล่านั้นกับชุดค่านี้ยังต้องตรวจเพิ่มเติม มี 8 งานที่ไม่ระบุจำนวน GPU และการเปรียบเทียบยังคงแยกกรณีดังกล่าวออกจากการระบุค่าเป็นศูนย์ ไฟล์ คอนเทนเนอร์เสริม อิมเมจ และบริการอาจมีข้อกำหนดเพิ่มเติมนอกเหนือจากสี่รายการนี้

หากจะรันโดยไม่ใช้ GPU ผู้ดูแล Terminal-Bench 4.1.0 มี [ชุดงานสำหรับ CPU โดยเฉพาะจำนวน 63 งาน](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only) ให้ใช้งาน รันด้วย `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` และระบุให้ชัดว่าผลมาจากชุดนี้เมื่อรายงานควบคู่กับคะแนนของรุ่นเต็ม 66 งาน แม้เป็นชุดสำหรับ CPU ก็ยังต้องตรวจว่าแต่ละงานอยู่ภายในเพดาน CPU หน่วยความจำ หรือพื้นที่จัดเก็บที่ต้องการหรือไม่

ใช้รายชื่องานที่เกินค่าเปรียบเทียบเพื่อตรวจว่าการตั้งค่าแบบเดียวกันจะเปลี่ยนเงื่อนไขใดบ้าง วิธีนี้ช่วยทบทวนการตั้งค่าก่อนเริ่มรันได้

## ตัวเรียกใช้งานและระบบเบื้องหลังตีความค่าที่ระบุไว้

ไฟล์ของงานเป็นเพียงส่วนหนึ่งของการตั้งค่าการประเมิน เราตรวจซอร์สของ Harbor ที่คอมมิตที่ตรึงไว้เพื่อดูว่าระบบนำค่าไปใช้อย่างไร [ข้อมูลกำกับของแพ็กเกจระบุเวอร์ชัน 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3)

ในซอร์สที่ตรวจ ค่าที่กำหนดในแต่ละรอบทดสอบใช้แทนค่าของงานได้ นโยบาย CPU และหน่วยความจำยังกำหนดได้ว่าจะใช้หรือข้ามค่าที่ระบุไว้ หากไม่มีค่า CPU หน่วยความจำ หรือพื้นที่จัดเก็บ ตัวอ่านไฟล์จะคงค่าเป็น null ได้ ส่วนสภาพแวดล้อมพื้นฐานจะใช้จำนวน GPU เป็นศูนย์เมื่อไฟล์ไม่ได้ระบุ การสำรวจเก็บข้อมูลว่าเดิมเว้นค่าใดไว้ เพื่อให้แยกการตั้งค่าที่ผู้เขียนระบุออกจากค่าที่ตัวเรียกใช้งานตีความ [ตรรกะการตั้งค่าสภาพแวดล้อมในซอร์ส Harbor ที่ตรึงไว้](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

ระบบเบื้องหลังมีวิธีบังคับใช้ของตนเอง ใน Docker adapter ที่ตรวจ นโยบายอัตโนมัติของ CPU และหน่วยความจำจะกลายเป็นขีดจำกัด ตัว adapter [ข้ามการเลือกชนิด GPU โดยตรง](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272) และส่วนที่เขียนค่าทรัพยากรของ Compose ไม่ได้เขียนเพดานพื้นที่จัดเก็บ มี 3 งานที่ระบุ H100 ไว้ชัดเจน แต่ต้องอาศัยหลักฐานเพิ่มเติมจึงจะทราบว่าการรันบน Docker ได้ GPU รุ่นนั้นจริง ค่าของ `storage_mb` เพียงช่องเดียวก็ยังไม่ยืนยันขีดจำกัดพื้นที่ดิสก์ของ Docker การตั้งค่า Compose ที่มีอยู่อาจกำหนดเงื่อนไขเพิ่ม และระบบเบื้องหลังอื่นมีวิธีทำงานของตนเอง [ตัวเชื่อมต่อ Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568), [ส่วนที่เขียนค่าทรัพยากรของ Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

เพื่อให้ทำการประเมินซ้ำได้ ให้เก็บค่าที่ประกาศไว้และบันทึกด้วยว่าระบบเบื้องหลังที่เลือกนำค่าไปใช้อย่างไร ค่าที่ขอและทรัพยากรที่ระบบจัดสรรจริงให้ข้อมูลคนละอย่าง

![ข้อมูลสี่ระดับที่ควรบันทึกในการประเมิน ได้แก่ ค่าของงานจากต้นทางที่ตรึงไว้ เวอร์ชันของตัวเรียกใช้งานและค่าที่ใช้แทนค่าเดิม นโยบายทรัพยากรของระบบเบื้องหลัง และทรัพยากรที่พบว่าระบบจัดสรรจริงเมื่อมีข้อมูล](https://sapien1.com/research/terminal-bench-resource-settings/figures/th/evaluation-record.svg)

บันทึกค่าที่ขอและทรัพยากรที่ตรวจพบว่าจัดสรรจริงไว้คนละช่อง

## บันทึกเวลาที่จำกัดให้เอเจนต์และการตั้งค่าตัวตรวจสอบแยกกัน

ไฟล์ของงานทั้ง 66 รายการระบุขีดจำกัดเวลาของเอเจนต์ไว้ที่ 28,800 วินาที หรือ 8 ชั่วโมง ตัวเลขนี้เป็นเพดานที่ตั้งไว้ ส่วนเวลาที่ใช้จริงต้องวัดอีกครั้ง ขีดจำกัดเวลาของตัวตรวจสอบอยู่ระหว่าง 60 ถึง 18,000 วินาที ส่วนขีดจำกัดเวลาสร้างสภาพแวดล้อมอยู่ระหว่าง 300 ถึง 18,000 วินาที แต่ละช่วงจึงควรมีตัวเลขของตนเองเมื่อประมาณเวลา

ตัวเรียกใช้งานที่ตรวจรองรับค่าที่ใช้แทนค่าเดิม ค่าสูงสุด และตัวคูณสำหรับการจำกัดเวลา ฟังก์ชันที่ตรวจใช้ค่าสูงสุดก่อนนำตัวคูณมาคำนวณ การวิเคราะห์นี้ไม่ได้รวมเพดานของแต่ละช่วงเพื่อทำนายเวลาจริงทั้งหมดตั้งแต่เริ่มจนจบ [การคำนวณขีดจำกัดเวลาในซอร์สที่ตรึงไว้](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695), [การคำนวณงบเวลาของแต่ละช่วง](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

เราใช้กฎการจำกัดเวลาจาก Harbor รุ่นที่ตรวจมาคำนวณขีดจำกัดเวลาของตัวตรวจสอบสำหรับงานทั้ง 66 รายการใน Terminal-Bench v4.1.0 เราลองตั้งค่าสูงสุดไว้ที่ 600 วินาที และลองใช้ 600 วินาทีแทนค่าเดิม โดยแยกทดสอบทั้งสองแบบและใช้ตัวคูณ 1 เหมือนกัน ขีดจำกัดเวลาสูงสุดที่คำนวณได้คือ 600 วินาทีทั้งสองแบบ การตั้งค่าสูงสุดคงขีดจำกัดเวลาที่สั้นกว่าไว้ 28 รายการ ส่วนการใช้ค่าแทนเดิมเพิ่มทั้ง 28 รายการเป็น 600 วินาที หากต้องการคงขีดจำกัดเวลาที่สั้นกว่าไว้ในรูปแบบนี้ ให้ใช้ค่าสูงสุดและบันทึกการตั้งค่าที่ใช้ [วิธีที่ Harbor เลือกขีดจำกัดเวลาเริ่มต้น](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [วิธีที่ Harbor ใช้ค่าสูงสุดและตัวคูณ](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

ขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์อาจทำให้เอเจนต์ที่รันอยู่ในเครื่องหยุดก่อนถึงขีดจำกัดเวลาของตัวเอง ตัวอย่างเช่น หากกำหนดให้เอเจนต์มีเวลา 8 ชั่วโมงสำหรับงานหนึ่ง เอเจนต์จะใช้เวลาไม่ครบ 8 ชั่วโมงเมื่อรันใน [งานที่โฮสต์โดย GitHub](https://docs.github.com/en/actions/reference/limits) ซึ่งจำกัดเวลาไว้ที่ 6 ชั่วโมง การเตรียมการภายในงานเดียวกันก็ใช้เวลาที่มีอยู่ไปด้วย บันทึกขีดจำกัดเวลาของงานที่เรียกใช้เอเจนต์และขีดจำกัดเวลาของเอเจนต์แยกกัน

ทุกงานเลือกรูปแบบการตรวจสอบแยกไว้ชัดเจน มี 6 งานที่ให้บล็อกการตั้งค่าสภาพแวดล้อมของตัวตรวจสอบ ตัวเลือกการตั้งค่าของ Harbor ที่เราตรวจจะใช้บล็อกนั้นทั้งบล็อกเมื่อมีการระบุ โดยไม่มีการรวมทีละช่องกับสภาพแวดล้อมของงาน หากไม่มีบล็อกแยก ระบบจะคัดลอกสภาพแวดล้อมของงาน ค่าที่ใช้แทนค่าเดิมในแต่ละรอบทดสอบยังอาจเปลี่ยนการตั้งค่าตัวตรวจสอบที่ได้ [ตัวเลือกการตั้งค่าของตัวตรวจสอบ](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

ควรบันทึกการตั้งค่าของเอเจนต์และตัวตรวจสอบแยกกัน แม้ค่าจะตรงกัน การเลือกรูปแบบการตรวจสอบแยกเพียงอย่างเดียวยังบอกไม่ได้ว่าระบบจัดสรรทรัพยากรเท่าไร หรือทั้งสองสภาพแวดล้อมใช้ทรัพยากรพร้อมกันหรือไม่

เราเปรียบเทียบค่า CPU หน่วยความจำ พื้นที่จัดเก็บ GPU ขีดจำกัดเวลา และโหมดตัวตรวจสอบบางรายการระหว่าง Terminal-Bench 4.0 กับ 4.1 ใน 66 งานที่ชื่อและพาธตรงกัน [ผลเปรียบเทียบ](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) พบการเปลี่ยนแปลงในสองงาน ขีดจำกัดเวลาของตัวตรวจสอบใน `distributed-dedup` เพิ่มจาก 1,800 เป็น 3,900 วินาที ส่วนค่าที่ระบุสำหรับตัวตรวจสอบใน `payments-pipeline-fix` เพิ่มจาก CPU 6 ตัวและหน่วยความจำ 12,288 MB เป็น CPU 8 ตัวและหน่วยความจำ 16,384 MB ค่าดังกล่าวมาจากการตั้งค่า ส่วนทรัพยากรที่จัดสรรจริงต้องตรวจแยก ประกาศ [รุ่น 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) ระบุว่าแก้ไขครบทั้ง 66 งาน การตรวจเฉพาะรายการข้างต้นยังสรุปไม่ได้ว่าคำสั่งของงาน อิมเมจคอนเทนเนอร์ หรือตัวตรวจสอบมีผลเทียบเท่ากันหรือไม่

ดาวน์โหลด [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) และ [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) ไว้ในโฟลเดอร์เดียวกัน จากนั้นใช้ Python 3.11 ขึ้นไปพร้อมการเชื่อมต่อเครือข่ายเพื่อรัน `python3 compare-versions.py > comparison.json` ในโฟลเดอร์นั้น สคริปต์จะดึงทะเบียนรุ่น 4.0 ที่ตรึงไว้และข้อมูลกำกับของงานโดยไม่รันงาน รายงานที่ได้เก็บการอ้างอิงถึงต้นทางและคำขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดลไว้ด้วย

## ข้อมูลที่ควรเก็บเมื่อเปลี่ยนการตั้งค่าการประเมิน

ผลสำรวจช่วยระบุสิ่งที่ควรเก็บในบันทึกการตั้งค่าแบบย่อ

1. **ตรึงชุดงานที่ใช้** เก็บบัญชีงานของรุ่น คอมมิตต้นทาง และพาธของงานไว้ด้วยกัน การนับไฟล์ทั้งคลังอาจรวมไฟล์ที่ไม่ได้อยู่ในรุ่นของเบนช์มาร์ก
2. **เก็บค่าที่งานระบุไว้เดิม** บันทึกทั้งค่าที่ระบุและค่าที่เว้นไว้ รวมถึงการตั้งค่าตัวตรวจสอบแยกและขีดจำกัดเวลาของแต่ละช่วง
3. **บันทึกตัวเรียกใช้งานและค่าที่ใช้แทนค่าเดิม** เก็บเวอร์ชันหรือคอมมิตที่ใช้จริงและตัวเลือกที่ใช้แทนหรือปรับขนาดค่าของงาน
4. **ตรวจนโยบายของระบบเบื้องหลัง** ระบุว่ารายการใดกลายเป็นขีดจำกัด การจองทรัพยากร ค่าเริ่มต้น หรือคำขอที่ระบบไม่รองรับ
5. **บันทึกผลการจัดสรรเมื่อสังเกตได้** เก็บแยกจากค่าที่ขอและปริมาณที่วัดว่าใช้จริงระหว่างรัน

หากตั้งใจเปลี่ยนขีดจำกัดหรือการจัดสรร ให้บันทึกสิ่งที่เปลี่ยนพร้อมผลลัพธ์ ผู้อ่านในภายหลังจะได้ทราบว่าผลลัพธ์เกิดขึ้นภายใต้เงื่อนไขใดและเปรียบเทียบกับสภาพแวดล้อมอื่นได้อย่างไร

[ผลเปรียบเทียบการตั้งค่า](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) และ [โค้ดที่ใช้วิเคราะห์](https://sapien1.com/research/terminal-bench-resource-settings/census.py) ช่วยให้ตรวจสอบงานที่เกินค่าเปรียบเทียบได้ sapien1 ใช้การตรวจงานและสภาพแวดล้อมลักษณะนี้เมื่อกำหนดขอบเขต [โครงการประเมินเอเจนต์](https://sapien1.com/th/agent-evaluation)

หากต้องการเทียบกับเพดานอื่น ให้ดาวน์โหลด [ตัวกรองทรัพยากร](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) และ [ข้อมูลสำรวจ](https://sapien1.com/research/terminal-bench-resource-settings/census.json) ไว้ในโฟลเดอร์เดียวกัน ตัวอย่างเช่น `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` จะแสดงค่าที่อยู่ในขีดจำกัดดังกล่าวทั้งของงานและตัวตรวจสอบ ผลลัพธ์ยังคงแสดงว่าเดิมเว้นค่าใดไว้ ส่วนงานจะรันได้จริงหรือไม่ต้องตรวจแยก Terminal-Bench ขอไม่ให้นำข้อมูลเบนช์มาร์กไปรวมในคลังข้อมูลฝึกโมเดล

### เปรียบเทียบงานที่ผ่านเพดานทรัพยากรแต่ละชุด

เพดานทรัพยากรทั้งสองชุดในตัวอย่างต่างเลือกได้ 44 จาก 66 งานใน Terminal-Bench v4.1.0 ทั้งสองรายการมีงานตรงกัน 36 งาน และแต่ละรายการมีงานที่อีกฝ่ายไม่มี 8 งาน ตัวกรองตรวจค่าที่ระบุไว้ของ CPU หน่วยความจำ และพื้นที่จัดเก็บเทียบกับเพดานแต่ละชุด โดยแยกสภาพแวดล้อมของงานออกจากสภาพแวดล้อมของตัวตรวจสอบผล

| จำนวน CPU | หน่วยความจำ (MB) | พื้นที่จัดเก็บ (MB) | งานที่ผ่านเพดานทั้งสามค่า |
| ---: | ---: | ---: | ---: |
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |

รันทั้งสองคำสั่งจากโฟลเดอร์ที่มีตัวกรองและไฟล์สำรวจข้อมูล ในรายงานแต่ละชุด ฟิลด์ `task` ใน `records` จะแสดงรหัสงานที่เลือก

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

เมื่อรายงานคะแนน ให้เก็บรหัสงานที่ตรงกับรายการจริงไว้พร้อมเวอร์ชันของเบนช์มาร์กและการตั้งค่าทรัพยากร หากเปรียบเทียบผลจากการรันสองครั้งโดยใช้งานที่ตรงกัน ให้คำนวณคะแนนทั้งสองจากรายการงานเดียวกัน

## วิธีการและขอบเขต

นี่คือการสำรวจค่าที่ระบุในไฟล์กำหนดค่าของรุ่นเดียวครบทั้งชุด เก็บข้อมูลเมื่อวันที่ 17 พฤศจิกายน 2026 ขอบเขตคือค่าที่ระบุในรุ่นนี้ การสุ่มตัวอย่างเบนช์มาร์กเอเจนต์ในวงกว้างและการทดลองประสิทธิภาพต้องใช้วิธีอื่น แหล่งข้อมูลชุดงานคือ Terminal-Bench คอมมิต `4070d6c` ส่วนซอร์สตัวเรียกใช้งานที่ตรวจคือ Harbor คอมมิต `ec6aeab` ซึ่งข้อมูลกำกับโครงการระบุเวอร์ชัน 0.26.0 ดูแฮชแบบเต็ม ลิงก์ต้นทาง กฎการดึงข้อมูล และคำสั่งทำซ้ำได้ใน [รายละเอียดวิธีการ](https://sapien1.com/th/research/terminal-bench-resource-settings/methods.md)

ตัวรวบรวมอ่านบัญชีงานทางการและไฟล์ TOML 66 ไฟล์ รวมข้อมูลต้นทาง 85,966 ไบต์ ตัวรวบรวมเก็บช่องเวอร์ชันแยกกันและตรวจชื่อเรียกทรัพยากรแบบเก่า ขั้นตอนของงาน และบล็อกการตั้งค่าสภาพแวดล้อมเพิ่มเติม รุ่นนี้ไม่พบขั้นตอนของงานหรือชื่อเรียกทรัพยากรแบบเก่า ไฟล์ที่เปิดให้ดาวน์โหลดมีข้อเท็จจริงบางส่วนจากการตั้งค่าและแฮชต้นทาง คำสั่งของงาน วิธีแก้ และสภาพแวดล้อมฉบับเต็มอยู่นอกข้อมูลที่เผยแพร่

เราตรวจความเป็นสมาชิกในบัญชีงาน ผลการคำนวณ และตัวอย่างจากซอร์สอย่างอิสระ โดยตรวจงานที่มีค่านอกกลุ่มหลัก งานที่ไม่ระบุ GPU และงานที่ระบุบล็อกตัวตรวจสอบไว้ชัดเจน การตรวจครั้งนี้ไม่มีการรันโมเดล คอนเทนเนอร์ หรืองานเบนช์มาร์ก

