# Khảo sát toàn bộ cấu hình tài nguyên của Terminal-Bench

Tạo: 2026-11-17
Cập nhật: 2026-11-17

## Câu hỏi và tập hợp nghiên cứu

Một cấu hình sandbox thống nhất sẽ thay đổi những khai báo riêng của tác vụ nào trong Terminal-Bench v4.1.0? Nghiên cứu này so sánh các thiết lập đã công bố để các nhóm đánh giá có thể chọn và ghi lại cấu hình môi trường. Nghiên cứu không ước tính mức sử dụng tài nguyên thực tế, phần cứng tối thiểu, giá, thời gian hoàn thành, hiệu năng mô hình hay xác suất thất bại.

Tập hợp nghiên cứu gồm toàn bộ 66 tác vụ trong manifest phát hành chính thức v4.1.0, không phải mọi tệp có dạng tác vụ trong kho lưu trữ. Bản phát hành được công bố ngày 3 tháng 11 năm 2026. Chúng tôi đọc siêu dữ liệu cấu hình ngày 17 tháng 11 năm 2026. [Thẻ bộ dữ liệu chính thức](https://huggingface.co/datasets/harborframework/terminal-bench) xác định bản phát hành và [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json) của bản phát hành đó. Kho lưu trữ nguồn được cố định tại commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` trong `harbor-framework/terminal-bench`.

SHA-256 của manifest là `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Mỗi quan sát bao gồm URL nguồn được cố định và SHA-256 của toàn bộ tệp nguồn `task.toml`. Các tác vụ cũ, dữ liệu mẫu CI và mẫu nằm ngoài manifest phát hành đều bị loại trừ. Không có tác vụ, container, mô hình hay tập lệnh xác minh nào được chạy.

## Trích xuất

Đơn vị quan sát là một tác vụ trong manifest. Công cụ thu thập phân tích TOML bằng thư viện chuẩn của Python và ghi lại các giá trị được khai báo tường minh trong môi trường cấp cao nhất: CPU, bộ nhớ, dung lượng lưu trữ, GPU, loại GPU, TPU và giới hạn thời gian dựng. Công cụ giữ nguyên trạng thái bỏ trống của các trường không được khai báo. Giới hạn thời gian của tác nhân và bộ xác minh được ghi riêng. Giá trị số `1200` và `1200.0` được coi là tương đương trong các số liệu tổng hợp; các quan sát nguồn giữ nguyên kiểu dữ liệu sau khi phân tích.

Sự hiện diện của khối môi trường bộ xác minh được ghi riêng với sự hiện diện của các trường tài nguyên. Công cụ thu thập cũng giữ riêng schema_version, version cấp cao nhất kiểu cũ và phiên bản tác vụ; đồng thời đánh dấu các bí danh tài nguyên cũ, các bước và các khối môi trường bổ sung. Không tìm thấy bí danh tài nguyên cũ hay bước nào trong bản phát hành này. 6 tác vụ có khối môi trường bộ xác minh được khai báo tường minh. Các quan sát đầy đủ giữ lại những trường được chọn trong các khối này; phân bố CPU/RAM chính chỉ liên quan đến môi trường cấp cao nhất của tác vụ.

66 tệp TOML nguồn có tổng dung lượng 85.966 byte. Dữ liệu trích xuất được công bố chứa các thông tin cấu hình được chọn, tên trường, mã định danh tác vụ và mã băm nguồn. Dữ liệu này không bao gồm hướng dẫn tác vụ, lời giải, bài kiểm tra, thông tin liên hệ của tác giả hay giá trị biến môi trường. Các tệp nguồn đầy đủ và image của benchmark không được phân phối lại trong gói này.

## Phép so sánh được xây dựng

Với mỗi trường CPU, bộ nhớ, dung lượng lưu trữ và số GPU, chúng tôi chọn giá trị được khai báo tường minh phổ biến nhất trong 66 khai báo môi trường cấp cao nhất: 2 CPU, 4.096 MB bộ nhớ, 10.240 MB dung lượng lưu trữ và 0 GPU. Kết hợp các giá trị đó tạo thành cấu hình so sánh của chúng tôi. Đây không phải cấu hình mặc định của Harbor, khuyến nghị của nhà cung cấp hay thiết lập đánh giá đã được quan sát.

Một tác vụ thuộc nhóm “vượt cấu hình so sánh” nếu có ít nhất một giá trị số được khai báo tường minh lớn hơn giá trị tương ứng trong cấu hình. Chúng tôi lấy hợp các mã định danh tác vụ, không cộng số lượng của từng trường. Giá trị GPU bị bỏ trống không được tính là 0 và cũng không được tính là trường hợp vượt mức. 8 tác vụ bỏ trống số GPU vẫn có thể được nhận diện trong dữ liệu nguồn. Hợp gồm 38 tác vụ đo lường sự khác biệt trong khai báo; kết quả không dự đoán liệu tác vụ có thể chạy hoặc vượt qua đánh giá với bất kỳ cấu hình nào hay không.

Chúng tôi cũng đếm các mẫu khai báo khác nhau trên các trường CPU, bộ nhớ, dung lượng lưu trữ, số GPU, loại GPU và TPU, không tính các giới hạn thời gian. Số mẫu ban đầu là 27. Đặt số GPU bị bỏ trống thành 0 làm giảm số đó xuống 22. Do kết quả nhạy với cách xử lý này, bài viết trình bày trước từng trường tài nguyên và một phép so sánh minh bạch, thay vì coi số lượng mẫu là số lượng yêu cầu phần cứng.

## Diễn giải cách trình chạy xử lý

Chúng tôi đã xem mã nguồn Harbor tại commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`; siêu dữ liệu dự án tại commit này xác định phiên bản 0.26.0. Đây là các kết quả đọc mã, không phải kết quả xác thực bằng cách chạy tất cả tác vụ hoặc backend.

- [Bộ phân tích tác vụ](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) cho phép số CPU, bộ nhớ, dung lượng lưu trữ và số GPU nhận giá trị null và chuyển đổi các chuỗi bộ nhớ/lưu trữ kiểu cũ. Trường phiên bản schema là một chuỗi; riêng quy trình chuyển đổi phiên bản không xác lập rằng mọi tác vụ đều có thể chạy.
- [Môi trường cơ sở](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) áp dụng các giá trị ghi đè của lần chạy thử. Tại đây, số GPU bị bỏ trống được xác định là 0; các chính sách bỏ qua CPU/bộ nhớ có thể khiến các giá trị đó không được áp dụng. Chúng tôi giữ nguyên các trường bị bỏ trống trong bộ dữ liệu ngay cả khi trình chạy này ánh xạ một trường sang một giá trị.
- [Bộ phân giải môi trường bộ xác minh](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) sử dụng toàn bộ môi trường bộ xác minh được cung cấp; nếu không có, nó sao chép môi trường tác vụ. Bộ này không hợp nhất từng trường của khối bộ xác minh được khai báo tường minh với thiết lập của tác nhân. [Bước tạo lần chạy thử](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) vẫn truyền các giá trị ghi đè môi trường.
- [Bộ chuyển đổi Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) ánh xạ các chính sách CPU/bộ nhớ tự động thành giới hạn và bỏ qua rõ ràng việc chọn loại GPU. [Bộ ghi tài nguyên Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) ghi các ràng buộc về CPU, bộ nhớ và số GPU, không ghi giới hạn dung lượng lưu trữ. Cấu hình Compose hiện có và các nhà cung cấp khác có thể xử lý khác.
- [Quy trình xác định giới hạn thời gian](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) và [tính toán ngân sách thời gian](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) cho phép áp dụng giá trị ghi đè, mức tối đa và hệ số nhân. Các khai báo giới hạn thời gian của tác nhân, bộ xác minh và quá trình dựng không phải thời lượng được quan sát. Nghiên cứu không khẳng định tổng của chúng là giới hạn trên của toàn bộ thời gian chạy thử.

Cuộc khảo sát không kiểm tra mọi Dockerfile, sidecar Compose, image hay dịch vụ bên ngoài. Những thành phần đó có thể bổ sung yêu cầu và ràng buộc tài nguyên ngoài các trường cấu hình cấp cao nhất. Nghiên cứu này không đưa ra kết luận về tính hợp lệ của benchmark hay sự thay đổi điểm số.

## Tái lập

Với Python 3.11 trở lên, chạy `python3 census.py` để tạo lại `census-results.json` từ `census.json` được cung cấp. Chạy `python3 census.py --collect` để tải lại manifest đã cố định và toàn bộ 66 tệp TOML được ghim phiên bản trước khi phân tích. Công cụ thu thập thực hiện tối đa 3 lượt đọc đồng thời, giới hạn manifest ở 300 KB và mỗi tác vụ ở 100 KB, đồng thời báo lỗi nếu tập thành viên của manifest hoặc mã băm manifest đã cố định khác đi. Công cụ không thay đổi dữ liệu của nhà cung cấp và không chạy mã đã tải xuống.

Chạy `python3 render-assets.py` để tạo lại 2 hình SVG gốc. Quá trình tạo hình sử dụng ReportLab; các bản gốc được công bố đã được kết xuất bằng ReportLab 4.4.9 và Python 3.12.14. Hình phân bố đọc trực tiếp kết quả phân tích. Hình thứ hai là sơ đồ bản ghi cấu hình do tác giả xây dựng, không phải dữ liệu thực nghiệm. Cả hai tệp SVG đều giữ văn bản, tiêu đề và mô tả hỗ trợ khả năng tiếp cận.

Benchmark nguồn sử dụng [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Bản quyền nguồn thuộc về các tác giả tương ứng. Gói này là phần trích xuất thông tin thực tế có chọn lọc và phân tích gốc của Sapien1; gói không cấp quyền đối với tài nguyên tác vụ hoặc nội dung container của bên thứ ba.
