# Sensus pengaturan sumber daya Terminal-Bench

Dibuat: 2026-11-17
Diperbarui: 2026-11-17

## Pertanyaan dan populasi

Deklarasi khusus tugas mana yang akan diubah oleh satu konfigurasi baku sandbox di Terminal-Bench v4.1.0? Studi ini membandingkan pengaturan yang dipublikasikan agar tim evaluasi dapat memilih dan mendokumentasikan konfigurasi lingkungan. Studi ini tidak memperkirakan penggunaan sumber daya aktual, perangkat keras minimum, harga, waktu penyelesaian, kinerja model, atau probabilitas kegagalan.

Populasinya adalah seluruh 66 anggota manifes rilis resmi v4.1.0, bukan setiap berkas yang menyerupai tugas dalam repositorinya. Rilis tersebut diterbitkan pada 3 November 2026. Metadata konfigurasi dibaca pada 17 November 2026. [Kartu dataset resmi](https://huggingface.co/datasets/harborframework/terminal-bench) mengidentifikasi rilis dan [manifesnya](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Repositori sumber dipatok pada commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` di `harbor-framework/terminal-bench`.

SHA-256 manifes adalah `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Setiap pengamatan mencakup URL sumber yang dipatok dan SHA-256 dari `task.toml` sumber secara lengkap. Tugas lama, fixture CI, dan templat di luar manifes rilis dikecualikan. Tidak ada tugas, container, model, atau skrip verifikasi yang dijalankan.

## Ekstraksi

Unit pengamatan adalah satu tugas dalam manifes. Pengumpul mem-parsing TOML dengan pustaka standar Python dan mencatat nilai CPU, memori, penyimpanan, GPU, jenis GPU, TPU, dan batas waktu build yang dinyatakan secara eksplisit pada lingkungan tingkat teratas. Kolom yang tidak dicantumkan tetap dicatat sebagai tidak dicantumkan. Nilai batas waktu agen dan verifikator tetap terpisah. Nilai numerik `1200` dan `1200.0` dianggap setara dalam hitungan ringkasan; pengamatan sumber mempertahankan tipe hasil parsing masing-masing.

Keberadaan blok lingkungan verifikator dicatat terpisah dari keberadaan kolom sumber daya. Pengumpul juga menyimpan schema_version, versi tingkat teratas lama, dan versi tugas secara terpisah; pengumpul menandai alias sumber daya lama, langkah, dan blok lingkungan tambahan. Tidak ditemukan alias sumber daya lama atau langkah dalam rilis ini. Sebanyak 6 tugas memiliki blok lingkungan verifikator yang eksplisit. Pengamatan lengkap menyimpan kolom terpilih dari blok-blok ini; distribusi utama CPU/RAM hanya mencakup lingkungan tingkat teratas tugas.

Total ukuran 66 berkas TOML sumber adalah 85.966 byte. Hasil ekstraksi yang dipublikasikan berisi fakta konfigurasi terpilih, nama kolom, pengenal tugas, dan hash sumber. Hasil ini tidak menyertakan instruksi tugas, solusi, pengujian, informasi kontak penulis, atau nilai variabel lingkungan. Berkas sumber lengkap dan image benchmark tidak didistribusikan ulang dalam paket ini.

## Perbandingan yang disusun

Untuk masing-masing jumlah CPU, memori, penyimpanan, dan GPU, kami memilih nilai eksplisit yang paling sering muncul dalam 66 deklarasi lingkungan tingkat teratas: 2 CPU, memori 4.096 MB, penyimpanan 10.240 MB, dan 0 GPU. Gabungan nilai tersebut membentuk konfigurasi baku pembanding kami. Konfigurasi ini bukan nilai bawaan Harbor, rekomendasi vendor, atau pengaturan evaluasi yang diamati.

Sebuah tugas masuk ke kelompok “di atas konfigurasi baku pembanding” jika setidaknya satu nilai numerik yang dicantumkan secara eksplisit lebih besar daripada nilai konfigurasi baku yang bersesuaian. Kami menghitung gabungan pengenal tugas, bukan jumlah hitungan per kolom. Nilai GPU yang tidak dicantumkan tidak dihitung sebagai nol maupun sebagai pengecualian positif. Sebanyak 8 tugas yang tidak mencantumkan jumlah GPU tetap dapat diidentifikasi dalam data sumber. Gabungan 38 tugas ini mengukur perbedaan deklarasi; hasilnya tidak memprediksi apakah tugas dapat berjalan atau lolos dengan konfigurasi baku mana pun.

Kami juga menghitung pola deklarasi yang berbeda untuk CPU, memori, penyimpanan, jumlah GPU, jenis GPU, dan TPU, tanpa menyertakan batas waktu. Jumlah pola mentahnya adalah 27. Menetapkan jumlah GPU yang tidak dicantumkan sebagai nol mengurangi jumlah tersebut menjadi 22. Karena kepekaan ini, artikel mengutamakan masing-masing kolom sumber daya dan perbandingan yang transparan, alih-alih menyajikan jumlah pola sebagai jumlah kebutuhan perangkat keras.

## Interpretasi pelaksana

Kami meninjau sumber Harbor pada commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, yang metadata proyeknya menunjukkan versi 0.26.0. Temuan ini berasal dari pembacaan kode, bukan validasi melalui eksekusi semua tugas atau backend.

- [Parser tugas](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) membiarkan CPU, memori, penyimpanan, dan jumlah GPU bernilai null serta memigrasikan string memori dan penyimpanan lama. Kolom versi skemanya berupa string; jalur migrasi versi itu sendiri tidak membuktikan bahwa setiap tugas dapat dijalankan.
- [Lingkungan dasar](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) menerapkan pengaturan pengganti untuk percobaan. Jumlah GPU yang tidak dicantumkan menjadi nol di sana; kebijakan untuk mengabaikan CPU/memori dapat meniadakan nilai tersebut. Kami tetap mempertahankan kolom yang tidak dicantumkan dalam dataset meskipun pelaksana ini memetakannya ke suatu nilai.
- [Penentu lingkungan verifikator](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) menggunakan lingkungan verifikator yang diberikan secara utuh; jika tidak ada, komponen ini menyalin lingkungan tugas. Komponen ini tidak menggabungkan blok verifikator eksplisit dengan pengaturan agen kolom demi kolom. [Pembuatan percobaan](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) tetap meneruskan pengaturan pengganti lingkungan.
- [Adaptor Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) memetakan kebijakan CPU/memori otomatis menjadi batas dan secara eksplisit mengabaikan pemilihan jenis GPU. [Penulis sumber daya Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) menulis batasan CPU, memori, dan jumlah GPU, tetapi bukan batas penyimpanan. Konfigurasi Compose yang sudah ada dan penyedia lain dapat berperilaku berbeda.
- [Penentuan batas waktu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) dan [perhitungan anggaran](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) memungkinkan pengaturan pengganti, batas maksimum, dan pengali. Deklarasi batas waktu agen, verifikator, dan build bukan durasi yang diamati. Jumlah ketiganya tidak dinyatakan sebagai batas durasi total percobaan.

Sensus ini tidak memeriksa setiap Dockerfile, sidecar Compose, image, atau layanan eksternal. Semua itu dapat menambah kebutuhan dan batasan sumber daya di luar kolom konfigurasi tingkat teratas. Studi ini tidak menghasilkan kesimpulan tentang validitas benchmark atau perubahan skor.

## Mereproduksi

Dengan Python 3.11 atau yang lebih baru, jalankan `python3 census.py` untuk menghasilkan ulang `census-results.json` dari `census.json` yang disediakan. Jalankan `python3 census.py --collect` untuk mengambil ulang manifes tetap dan seluruh 66 berkas TOML yang dipatok sebelum analisis. Pengumpul menggunakan paling banyak 3 pembacaan bersamaan, membatasi manifes hingga 300 KB dan setiap tugas hingga 100 KB, serta gagal jika keanggotaan manifes atau hash manifes yang dipatok berbeda. Pengumpul tidak mengubah apa pun pada penyedia dan tidak menjalankan kode yang diunduh.

Jalankan `python3 render-assets.py` untuk menghasilkan ulang kedua gambar SVG asli. Pembuatan gambar menggunakan ReportLab; berkas master yang dipublikasikan dirender dengan ReportLab 4.4.9 dan Python 3.12.14. Gambar distribusi membaca hasil analisis secara langsung. Gambar kedua adalah diagram catatan konfigurasi yang dibuat penulis, bukan data empiris. Kedua SVG mempertahankan teks, judul, dan deskripsi yang dapat diakses.

Benchmark sumber menggunakan [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Hak cipta sumber tetap menjadi milik penulisnya. Paket ini merupakan ekstraksi faktual terpilih dan analisis asli Sapien1; paket ini tidak memberikan hak atas aset tugas atau isi container pihak ketiga.
