# Bancian tetapan sumber Terminal-Bench

Dicipta: 2026-11-17
Dikemas kini: 2026-11-17

## Soalan dan populasi

Pengisytiharan khusus tugasan yang manakah akan berubah jika satu pratetap kotak pasir digunakan dalam Terminal-Bench v4.1.0? Kajian ini membandingkan tetapan yang diterbitkan supaya pasukan penilaian dapat memilih dan mendokumenkan konfigurasi persekitaran. Ia tidak menganggarkan penggunaan sumber sebenar, perkakasan minimum, harga, masa penyelesaian, prestasi model atau kebarangkalian kegagalan.

Populasi merangkumi semua 66 anggota manifes keluaran rasmi v4.1.0, bukan setiap fail yang menyerupai tugasan dalam repositorinya. Keluaran itu diterbitkan pada 3 November 2026. Kami membaca metadata konfigurasi pada 17 November 2026. [Kad set data rasmi](https://huggingface.co/datasets/harborframework/terminal-bench) mengenal pasti keluaran dan [manifesnya](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Repositori sumber dipinkan pada commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` dalam `harbor-framework/terminal-bench`.

SHA-256 manifes ialah `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Setiap pemerhatian merangkumi URL sumber yang dipinkan dan SHA-256 bagi `task.toml` sumber yang lengkap. Tugasan lama, lekapan CI dan templat di luar manifes keluaran dikecualikan. Tiada tugasan, kontena, model atau skrip pengesahan dijalankan.

## Pengekstrakan

Unit kajian ialah satu tugasan dalam manifes. Pengumpul menghuraikan TOML menggunakan pustaka standard Python dan merekodkan nilai CPU, memori, storan, GPU, jenis GPU, TPU dan had masa binaan yang dinyatakan secara jelas dalam persekitaran peringkat teratas. Medan yang ditinggalkan dikekalkan sebagai tidak dinyatakan. Nilai had masa ejen dan pengesah dikekalkan secara berasingan. Nilai angka `1200` dan `1200.0` dianggap setara dalam kiraan ringkasan; pemerhatian sumber mengekalkan jenis data yang dihuraikan.

Kewujudan blok persekitaran pengesah direkodkan secara berasingan daripada kewujudan medan sumber. Pengumpul juga mengekalkan schema_version, version peringkat teratas yang lama dan versi tugasan secara berasingan; ia menandakan alias sumber lama, langkah dan blok persekitaran tambahan. Tiada alias sumber lama atau langkah ditemui dalam keluaran ini. Sebanyak 6 tugasan mempunyai blok persekitaran pengesah yang dinyatakan secara jelas. Pemerhatian penuh mengekalkan medan terpilih daripada blok ini; taburan utama CPU/RAM hanya berkaitan dengan persekitaran peringkat teratas tugasan.

Kesemua 66 fail TOML sumber berjumlah 85,966 bait. Hasil pengekstrakan yang diterbitkan mengandungi fakta konfigurasi terpilih, nama medan, pengecam tugasan dan cincangan sumber. Ia tidak merangkumi arahan tugasan, penyelesaian, ujian, maklumat hubungan penulis atau nilai pemboleh ubah persekitaran. Fail sumber penuh dan imej penanda aras tidak diedarkan semula dalam pakej ini.

## Perbandingan yang dibina

Bagi setiap kiraan CPU, memori, storan dan GPU, kami memilih nilai yang dinyatakan secara jelas paling kerap dalam 66 pengisytiharan persekitaran peringkat teratas: 2 CPU, memori 4,096 MB, storan 10,240 MB dan 0 GPU. Gabungan nilai ini membentuk pratetap perbandingan kami. Ia bukan nilai lalai Harbor, cadangan vendor atau persediaan penilaian yang diperhatikan.

Sesuatu tugasan dimasukkan dalam kumpulan “melebihi pratetap perbandingan” jika sekurang-kurangnya satu nilai angka yang dinyatakan secara jelas lebih besar daripada nilai pratetap yang sepadan. Kami mengambil kesatuan pengecam tugasan, bukan jumlah kiraan bagi setiap medan. Nilai GPU yang tiada tidak dikira sebagai sifar dan tidak menghasilkan pengecualian positif. Sebanyak 8 tugasan yang tidak menyatakan kiraan GPU masih boleh dikenal pasti dalam data sumber. Kesatuan 38 tugasan ini mengukur perbezaan dalam pengisytiharan; ia tidak meramalkan sama ada tugasan boleh dijalankan atau lulus di bawah mana-mana pratetap.

Kami juga mengira corak pengisytiharan yang berbeza merentas CPU, memori, storan, kiraan GPU, jenis GPU dan TPU, tanpa mengambil kira had masa. Kiraan corak mentah ialah 27. Menetapkan kiraan GPU yang tidak dinyatakan kepada sifar mengurangkan kiraan itu kepada 22. Kepekaan ini menyebabkan artikel mengutamakan medan sumber individu dan perbandingan yang telus, dan bukannya membentangkan kiraan corak sebagai kiraan keperluan perkakasan.

## Tafsiran program pelaksana

Kami menyemak sumber Harbor pada commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, yang metadata projeknya mengenal pasti versi 0.26.0. Ini ialah dapatan daripada pembacaan kod, bukan pengesahan melalui pelaksanaan semua tugasan atau sistem pelaksanaan.

- [Penghurai tugasan](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) membenarkan kiraan CPU, memori, storan dan GPU bernilai null serta memigrasikan rentetan memori/storan lama. Medan versi skemanya ialah rentetan; laluan migrasi versi itu sendiri tidak membuktikan bahawa setiap tugasan boleh dilaksanakan.
- [Persekitaran asas](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) menggunakan nilai penggantian percubaan. Kiraan GPU yang tidak dinyatakan ditetapkan kepada sifar di situ; dasar mengabaikan CPU/memori boleh mengetepikan nilai tersebut. Kami mengekalkan medan yang tidak dinyatakan dalam set data walaupun program pelaksana ini memetakan salah satu daripadanya kepada suatu nilai.
- [Penentu persekitaran pengesah](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) menggunakan persekitaran pengesah yang dibekalkan secara keseluruhan; jika tidak, ia menyalin persekitaran tugasan. Ia tidak menggabungkan blok pengesah yang dinyatakan secara jelas dengan tetapan ejen medan demi medan. [Penciptaan percubaan](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) masih menghantar nilai penggantian persekitaran.
- [Penyesuai Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) memetakan dasar CPU/memori automatik kepada had dan secara jelas mengabaikan pemilihan jenis GPU. [Penulis sumber Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) menulis kekangan CPU, memori dan kiraan GPU, tetapi tidak menulis had storan. Konfigurasi Compose sedia ada dan penyedia lain mungkin berkelakuan berbeza.
- [Penentuan had masa](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) dan [pengiraan bajet](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) membenarkan nilai penggantian, nilai maksimum dan pengganda. Pengisytiharan had masa ejen, pengesah dan binaan bukan tempoh yang diperhatikan. Jumlahnya tidak didakwa sebagai batas tempoh keseluruhan percubaan.

Bancian ini tidak memeriksa setiap Dockerfile, sidecar Compose, imej atau perkhidmatan luaran. Semua itu mungkin menambah keperluan dan kekangan sumber di luar medan konfigurasi peringkat teratas. Tiada kesimpulan tentang kesahan penanda aras atau perubahan skor yang terhasil daripada kajian ini.

## Menghasilkan semula

Dengan Python 3.11 atau lebih baharu, jalankan `python3 census.py` untuk menjana semula `census-results.json` daripada `census.json` yang dibekalkan. Jalankan `python3 census.py --collect` untuk mengambil semula manifes tetap dan semua 66 fail TOML yang dipinkan sebelum analisis. Pengumpul menggunakan paling banyak 3 bacaan serentak, mengehadkan saiz manifes kepada 300 KB dan setiap tugasan kepada 100 KB, serta gagal jika keanggotaan manifes atau cincangan manifes yang dipinkan berbeza. Ia tidak mengubah apa-apa pada pihak penyedia dan tidak melaksanakan kod yang dimuat turun.

Jalankan `python3 render-assets.py` untuk menjana semula 2 rajah SVG asal. Penjanaan rajah menggunakan ReportLab; fail induk yang diterbitkan dirender menggunakan ReportLab 4.4.9 dan Python 3.12.14. Rajah taburan membaca hasil analisis secara langsung. Rajah kedua ialah diagram rekod konfigurasi yang dicipta oleh penulis, bukan data empirikal. Kedua-dua SVG mengekalkan teks, tajuk dan perihalan yang boleh diakses.

Penanda aras sumber menggunakan [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Hak cipta sumber kekal pada pengarang masing-masing. Pakej ini ialah pengekstrakan fakta terpilih dan analisis asal Sapien1; ia tidak memberikan hak ke atas aset tugasan atau kandungan kontena pihak ketiga.
