Nghiên cứu
Cấu hình tài nguyên của 66 tác vụ Terminal-Bench
66 tác vụ trong Terminal-Bench v4.1.0 khai báo các mức tài nguyên khác nhau. Qua kiểm kê tệp cấu hình, chúng tôi thấy 31 tác vụ khai báo hơn 4.096 MB bộ nhớ và 22 tác vụ khai báo hơn hai CPU. Một cấu hình đối chiếu ghép từ giá trị được khai báo rõ ràng thường gặp nhất của CPU, bộ nhớ, dung lượng lưu trữ và GPU thấp hơn ít nhất một mức khai báo ở 38 tác vụ. Kết quả cho biết nhóm đánh giá nên giữ lại hoặc ghi chép những thiết lập nào khi cấu hình môi trường cách ly. Mức sử dụng tài nguyên và khả năng tác vụ thất bại cần được đánh giá riêng.
Khi chạy cùng một bộ benchmark trong môi trường mới, bạn giữ lại được những điều kiện nào? Câu trả lời phụ thuộc vào phiên bản tác vụ, phiên bản trình chạy, các giá trị ghi đè và chính sách của hệ thống thực thi.
Các tác vụ trong bản phát hành khai báo nhiều mức tài nguyên
Chúng tôi kiểm tra từng tác vụ trong danh mục chính thức của Terminal-Bench v4.1.0, phát hành ngày 3 tháng 11 năm 2026. Phạm vi gồm đủ 66 tác vụ của bản phát hành. Mỗi tác vụ có tệp task.toml tại một commit nguồn đã được cố định. Kho mã còn có các tác vụ cũ và dữ liệu mẫu để kiểm thử nằm ngoài phạm vi kiểm kê. Bản phát hành và danh mục chính thức
Khai báo ở cấp cao nhất của môi trường tác vụ có từ 2 đến 16 CPU và từ 4.096 đến 32.768 MB bộ nhớ. Mức phổ biến nhất là hai CPU, xuất hiện trong 44 tác vụ. Với bộ nhớ, mức phổ biến nhất là 4.096 MB, xuất hiện trong 35 tác vụ. Các tác vụ còn lại phân bố ở những mức khai báo cao hơn.
Mỗi biểu đồ bao quát cùng 66 môi trường tác vụ. Các giá trị lấy trực tiếp từ tệp cấu hình của bản phát hành. Bộ dữ liệu quan sát đầy đủ cung cấp URL cố định và mã băm của nguồn cho từng tác vụ.
Một môi trường thống nhất có thể giúp nhóm lên lịch chạy dễ dàng hơn. Tuy nhiên, nó sẽ thay đổi một số điều kiện đã khai báo nếu trình chạy không áp dụng thiết lập riêng cho từng tác vụ. Khi có thêm phần cứng, bạn vẫn phải thực thi giới hạn thấp hơn nếu muốn giữ nguyên giới hạn đó. Cách so sánh phù hợp phụ thuộc vào những gì trình chạy và hệ thống thực thi thực sự áp dụng.
Cấu hình ghép từ các giá trị phổ biến làm thay đổi nhiều mức khai báo
Để đối chiếu, chúng tôi lập một cấu hình bằng giá trị được khai báo rõ ràng thường xuyên nhất trong mỗi trường của bốn trường sau.
| Trường | Giá trị dùng để đối chiếu |
|---|---|
| CPU | 2 |
| Bộ nhớ | 4.096 MB |
| Dung lượng lưu trữ | 10.240 MB |
| GPU | 0 |
Chúng tôi tạo cấu hình này cho mục đích phân tích. Giá trị mặc định của Harbor, khuyến nghị của nhà cung cấp và các cấu hình triển khai thực tế là những thông tin riêng. Từng giá trị đều phổ biến khi xét độc lập. Cấu hình đầy đủ phổ biến nhất cần được xác định riêng.
Với mỗi tác vụ, chúng tôi kiểm tra xem có giá trị khai báo rõ ràng nào cao hơn mức đối chiếu tương ứng không. Có 38 trên 66 tác vụ thỏa điều kiện này. Số tác vụ vượt mức theo từng trường là 22 với CPU, 31 với bộ nhớ, 17 với dung lượng lưu trữ và ba với số lượng GPU. Một số tác vụ có mặt ở nhiều nhóm, nên cộng các con số sẽ đếm trùng. Kết quả đối chiếu liệt kê chính xác các tác vụ thuộc tập hợp chung và từng nhóm.
Ở 28 tác vụ còn lại, không có giá trị nào được ghi nhận vượt bốn mức đối chiếu. Vẫn cần kiểm tra riêng xem cấu hình đó có tương thích với từng tác vụ hay không. Tám tác vụ bỏ trống số lượng GPU. Phép so sánh giữ nguyên sự khác biệt giữa trường bỏ trống và trường khai báo bằng 0. Tệp, container phụ trợ, ảnh container và dịch vụ có thể đặt ra yêu cầu ngoài bốn trường này.
Khi cần chạy mà không dùng GPU, nhóm duy trì Terminal-Bench 4.1.0 cung cấp bộ dữ liệu chỉ dùng CPU với 63 tác vụ. Chạy bộ này bằng harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 và ghi rõ kết quả thuộc bộ dữ liệu 63 tác vụ khi báo cáo cùng điểm số của bản đầy đủ 66 tác vụ. Với từng tác vụ chỉ dùng CPU, vẫn cần kiểm tra các giới hạn cụ thể về CPU, bộ nhớ và dung lượng lưu trữ.
Dùng danh sách tác vụ vượt mức đối chiếu để xem thiết lập nào sẽ thay đổi nếu dùng cấu hình thống nhất. Danh sách này hỗ trợ việc rà soát cấu hình trước khi chạy.
Trình chạy và hệ thống thực thi xử lý các khai báo
Tệp tác vụ là một phần của cấu hình đánh giá. Để xem các khai báo được xử lý ra sao, chúng tôi kiểm tra mã nguồn Harbor tại một commit cố định. Siêu dữ liệu gói xác định phiên bản là 0.26.0.
Trong mã nguồn đó, giá trị ghi đè ở cấp lượt chạy thử có thể thay thế giá trị của tác vụ. Chính sách CPU và bộ nhớ có thể quyết định áp dụng hay bỏ qua giá trị. Trình phân tích giữ giá trị CPU, bộ nhớ và dung lượng lưu trữ ở dạng có thể nhận null nếu các trường bị bỏ trống. Lớp môi trường cơ sở coi số lượng GPU có hiệu lực là 0 khi không có khai báo. Bản kiểm kê lưu lại các trường bị bỏ trống để người đọc phân biệt thiết lập do người viết tác vụ khai báo với cách trình chạy diễn giải. Logic môi trường trong mã nguồn Harbor đã cố định
Cách xử lý còn phụ thuộc vào hệ thống thực thi. Bộ điều hợp Docker được kiểm tra chuyển chính sách CPU và bộ nhớ tự động thành giới hạn. Nó bỏ qua việc chọn loại GPU, còn thành phần ghi cấu hình tài nguyên Compose không ghi giới hạn dung lượng lưu trữ. Có ba tác vụ chỉ định rõ H100, nhưng cần thêm bằng chứng để biết Docker có thực sự cấp GPU đó khi chạy hay không. Tương tự, riêng trường storage_mb chưa đủ để xác định Docker có áp dụng giới hạn đĩa hay không. Cấu hình Compose hiện có có thể bổ sung ràng buộc. Các hệ thống thực thi khác có cách xử lý riêng. Bộ điều hợp Docker, thành phần ghi cấu hình tài nguyên Compose
Để có thể lặp lại phép đánh giá, hãy giữ cả khai báo lẫn thông tin về cách hệ thống thực thi đã xử lý khai báo đó. Thiết lập được yêu cầu và tài nguyên thực tế được cấp cho biết hai điều khác nhau.
Ghi thiết lập được yêu cầu và tài nguyên được cấp quan sát được vào các trường riêng.
Ghi riêng giới hạn thời gian của tác nhân và thiết lập bộ xác minh
Cả 66 tệp tác vụ đều quy định giới hạn thời gian của tác nhân là 28.800 giây, tức tám giờ. Đây là mức trần cấu hình. Thời gian thực tế cần được đo riêng. Giới hạn thời gian của bộ xác minh nằm trong khoảng 60 đến 18.000 giây, còn thời gian dựng môi trường được giới hạn từ 300 đến 18.000 giây. Vì vậy, nên theo dõi từng giai đoạn riêng khi ước tính thời gian.
Trình chạy đã kiểm tra có thể áp dụng giá trị ghi đè, giá trị tối đa và hệ số nhân cho giới hạn thời gian. Trong hàm được xem xét, giá trị tối đa được áp dụng trước hệ số nhân. Trong phân tích này, chúng tôi không cộng các mức trần theo giai đoạn để dự đoán tổng thời gian chạy thực tế. Cách tính giới hạn thời gian tại mã nguồn cố định, cách tính thời gian cho từng giai đoạn
Dựa trên quy tắc của phiên bản Harbor đã kiểm tra, chúng tôi tính giới hạn thời gian xác minh cho cả 66 tác vụ trong Terminal-Bench v4.1.0. Chúng tôi thử riêng từng cách, đặt giá trị tối đa là 600 giây hoặc ghi đè giới hạn bằng 600 giây. Cả hai cách dùng hệ số nhân 1. Giới hạn cao nhất tính được ở cả hai cách là 600 giây. Giá trị tối đa giữ nguyên 28 giới hạn vốn đã ngắn hơn. Cách ghi đè nâng cả 28 giới hạn đó lên 600 giây. Để giữ các giới hạn ngắn hơn trong cấu hình này, hãy dùng giá trị tối đa và ghi lại thiết lập đã dùng. Cách Harbor chọn giới hạn thời gian ban đầu · Cách Harbor áp dụng giá trị tối đa và hệ số nhân
Nếu tác nhân chạy cục bộ, công việc chạy tác nhân có thể hết giờ và dừng nó trước khi hết thời gian được cấp. Ví dụ, nếu tác vụ cho phép tác nhân chạy tám giờ, nó vẫn không thể dùng đủ thời gian đó trong một công việc chạy trên hạ tầng của GitHub có giới hạn sáu giờ. Thời gian chuẩn bị trong chính công việc đó cũng làm giảm thời gian còn lại. Ghi riêng giới hạn thời gian của công việc và giới hạn thời gian của tác nhân.
Mọi tác vụ cũng đều chọn chế độ xác minh riêng một cách rõ ràng. Sáu tác vụ cung cấp một khối cấu hình môi trường xác minh. Bộ phân giải cấu hình Harbor được kiểm tra chọn toàn bộ khối môi trường xác minh nếu khối đó được khai báo, không hợp nhất từng trường với môi trường tác vụ. Khi không có khối riêng, bộ phân giải sao chép môi trường tác vụ. Giá trị ghi đè ở cấp lượt chạy thử vẫn có thể thay đổi cấu hình bộ xác minh cuối cùng. Bộ phân giải cấu hình xác minh
Hãy ghi cấu hình tác nhân và bộ xác minh riêng, kể cả khi chúng giống nhau. Thông tin về chế độ xác minh riêng chưa đủ để xác định phân bổ tài nguyên có hiệu lực hay việc hai môi trường có dùng tài nguyên cùng lúc hay không.
Giữa Terminal-Bench 4.0 và 4.1, chúng tôi so sánh một số khai báo về CPU, bộ nhớ, dung lượng lưu trữ, GPU, giới hạn thời gian và chế độ xác minh cho 66 tác vụ trùng tên và đường dẫn. Phép so sánh tìm thấy hai tác vụ có thay đổi trong các trường này. Giới hạn thời gian xác minh của distributed-dedup tăng từ 1.800 lên 3.900 giây. Giá trị khai báo rõ ràng cho bộ xác minh của payments-pipeline-fix tăng từ 6 CPU và 12.288 MB lên 8 CPU và 16.384 MB. Các con số là mức khai báo. Phân bổ thực tế cần được đo riêng. Ghi chú bản 4.1 cho biết cả 66 tác vụ đều đã được chỉnh sửa. Kiểm tra trong phạm vi hẹp này chưa đủ để kết luận rằng chỉ dẫn, ảnh container hoặc bộ xác minh của hai bản tương đương.
Tải compare-versions.py và census.json vào cùng thư mục. Với Python 3.11 trở lên và kết nối mạng, chạy python3 compare-versions.py > comparison.json từ thư mục đó. Tập lệnh tải danh mục bản 4.0 tại phiên bản nguồn đã cố định cùng siêu dữ liệu các tác vụ và không chạy tác vụ nào. Báo cáo cục bộ giữ lại ghi công cho nguồn và yêu cầu loại dữ liệu benchmark khỏi tập dữ liệu huấn luyện.
Thông tin cần giữ khi thay đổi cấu hình đánh giá
Kết quả kiểm kê giúp xác định những nội dung cần có trong một bản ghi cấu hình ngắn gọn.
- Cố định tập tác vụ. Lưu cùng nhau danh mục phát hành, commit nguồn và đường dẫn tới các tác vụ. Số tệp trên toàn kho có thể bao gồm tài liệu nằm ngoài bản phát hành benchmark.
- Giữ nguyên khai báo nguồn. Ghi cả giá trị được khai báo và trường bị bỏ trống, bao gồm thiết lập xác minh riêng và giới hạn thời gian từng giai đoạn.
- Ghi lại trình chạy và giá trị ghi đè. Lưu phiên bản hoặc commit chính xác cùng các tùy chọn thay thế thiết lập của tác vụ hoặc áp dụng hệ số cho chúng.
- Kiểm tra chính sách của hệ thống thực thi. Xác định trường nào trở thành giới hạn, mức tài nguyên đặt trước, giá trị mặc định hoặc yêu cầu không được hệ thống hỗ trợ.
- Ghi mức cấp phát nếu quan sát được. Lưu mức này riêng với cấu hình được yêu cầu và mức sử dụng đo được trong lúc chạy.
Khi chủ động đổi giới hạn hoặc mức cấp phát, hãy ghi lại thay đổi cùng kết quả. Người đọc về sau có thể hiểu điều kiện tạo ra kết quả và biết môi trường nào có thể đem ra đối chiếu.
Kết quả đối chiếu cấu hình và mã phân tích cho phép kiểm tra từng tác vụ vượt mức. sapien1 cũng xem xét tác vụ và môi trường theo cách này khi xác định phạm vi của một dự án đánh giá tác nhân.
Để đối chiếu với mức giới hạn khác, hãy tải bộ lọc tài nguyên và bản kiểm kê vào cùng thư mục. Ví dụ, python3 filter-census.py --cpus 4 --memory-mb 8192 --status within liệt kê những khai báo nằm trong các giới hạn đó ở cả môi trường tác vụ và môi trường xác minh. Kết quả giữ lại thông tin về trường bị bỏ trống. Để biết tác vụ có chạy được hay không, cần kiểm tra riêng. Terminal-Bench yêu cầu loại dữ liệu benchmark khỏi tập dữ liệu huấn luyện.
So sánh các tác vụ được chọn theo từng mức giới hạn
Mỗi bộ giới hạn tài nguyên trong hai ví dụ chọn được 44 trong số 66 tác vụ của Terminal-Bench v4.1.0. Hai danh sách có chung 36 tác vụ và mỗi danh sách có 8 tác vụ riêng. Với từng bộ giới hạn, bộ lọc đối chiếu các giá trị CPU, bộ nhớ và dung lượng lưu trữ đã khai báo riêng cho môi trường tác vụ và môi trường xác minh.
| Số CPU | Bộ nhớ (MB) | Dung lượng lưu trữ (MB) | Tác vụ đáp ứng cả ba giới hạn |
|---|---|---|---|
| 4 | 8.192 | 10.240 | 44 |
| 2 | 16.384 | 20.480 | 44 |
Chạy cả hai lệnh trong thư mục chứa bộ lọc và tệp thống kê. Trong mỗi báo cáo, các trường task trong records cho biết ID của các tác vụ được chọn.
python3 filter-census.py --cpus 4 --memory-mb 8192 \
--storage-mb 10240 --phases both --status within > ceiling-4cpu.json
python3 filter-census.py --cpus 2 --memory-mb 16384 \
--storage-mb 20480 --phases both --status within > ceiling-2cpu.json
Khi báo cáo điểm số, hãy lưu ID chính xác của các tác vụ cùng phiên bản bộ chuẩn đánh giá và cấu hình tài nguyên. Nếu so sánh hai lần chạy dựa trên các tác vụ chung, hãy tính cả hai điểm trên cùng một danh sách.
Phương pháp và phạm vi
Đây là bản kiểm kê đầy đủ các khai báo cấu hình của một bản phát hành, thu thập ngày 17 tháng 11 năm 2026. Phương pháp này giới hạn ở các khai báo của bản phát hành. Việc lấy mẫu đại diện cho nhiều bộ benchmark tác nhân hoặc thử nghiệm hiệu năng cần phương pháp khác. Nguồn dữ liệu là Terminal-Bench tại commit 4070d6c. Mã trình chạy được kiểm tra là Harbor tại commit ec6aeab, với phiên bản 0.26.0 trong siêu dữ liệu dự án. Tài liệu phương pháp cung cấp mã băm đầy đủ, liên kết tới nguồn, quy tắc trích xuất và các lệnh để tái tạo kết quả.
Trình thu thập đọc danh mục chính thức và 66 tệp TOML, tổng cộng 85.966 byte dữ liệu nguồn. Trình giữ các trường phiên bản riêng và kiểm tra tên thay thế cũ của trường tài nguyên, các bước tác vụ và các khối môi trường bổ sung. Trong bản phát hành này, chúng tôi không tìm thấy bước tác vụ hoặc tên thay thế cũ của trường tài nguyên. Tệp tải xuống công khai chỉ chứa một số thông tin cấu hình và mã băm nguồn. Chỉ dẫn tác vụ, lời giải và môi trường đầy đủ nằm ngoài phần công bố.
Chúng tôi kiểm tra độc lập thành phần của danh mục, phép tính và mẫu mã nguồn, gồm một trường hợp có giá trị khác biệt, một trường GPU bỏ trống và một khối xác minh được khai báo rõ ràng. Không có mô hình, container hay tác vụ benchmark nào được chạy.