Penyelidikan
Tetapan sumber bagi 66 tugasan Terminal-Bench
Terminal-Bench v4.1.0 menyatakan tetapan sumber yang berbeza untuk 66 tugasannya. Tinjauan fail konfigurasi mendapati bahawa 31 tugasan menetapkan lebih daripada 4,096 MB memori dan 22 menetapkan lebih daripada dua CPU. Kami membina konfigurasi perbandingan daripada nilai CPU, memori, storan dan GPU yang paling kerap dinyatakan secara jelas. Dalam 38 tugasan, sekurang-kurangnya satu nilai yang dinyatakan melebihi nilai sepadan dalam konfigurasi ini. Perbezaan itu membantu pasukan mengenal pasti tetapan yang perlu dikekalkan atau direkodkan apabila menyediakan persekitaran penilaian terasing. Ia tidak meramalkan penggunaan sumber atau kegagalan tugasan.
Apabila penanda aras yang sama dijalankan dalam persekitaran baharu, syarat manakah yang masih terpakai? Jawapannya bergantung pada versi tugasan dan program pelaksana, pilihan yang menggantikan nilai tugasan serta dasar sistem pelaksanaan.
Keluaran ini merangkumi pelbagai tahap sumber
Kami menyemak semua tugasan dalam manifes rasmi Terminal-Bench v4.1.0 yang dikeluarkan pada 3 November 2026. Tinjauan meliputi kesemua 66 tugasan keluaran itu, setiap satunya dengan fail task.toml pada semakan sumber yang tetap. Repositori turut mengandungi tugasan lama dan fail sokongan ujian yang tidak termasuk dalam tinjauan. Keluaran dan manifes rasmi
Nilai yang dinyatakan untuk persekitaran utama berjulat daripada 2 hingga 16 CPU dan daripada 4,096 hingga 32,768 MB memori. Bilangan CPU yang paling lazim ialah dua, dalam 44 tugasan. Nilai memori yang paling lazim ialah 4,096 MB, dalam 35 tugasan. Tugasan selebihnya menyatakan nilai yang lebih tinggi.
Kedua-dua bahagian rajah meliputi 66 persekitaran tugasan yang sama. Nilai datang daripada fail konfigurasi keluaran itu. Rekod pemerhatian lengkap menyertakan pautan ke semakan sumber yang tetap dan nilai cincang fail sumber bagi setiap tugasan.
Perbezaan ini penting apabila pasukan menyeragamkan infrastrukturnya. Persekitaran seragam boleh memudahkan penjadualan, tetapi mengubah sesetengah syarat yang dinyatakan jika program pelaksana tidak menggunakan tetapan khusus tugasan. Perkakasan tambahan juga tidak menjamin bahawa had yang lebih rendah akan dikekalkan. Perbandingan bergantung pada had yang sebenarnya dikuatkuasakan oleh program dan sistem pelaksanaan.
Konfigurasi daripada nilai lazim mengubah banyak tetapan yang dinyatakan
Kami menggabungkan nilai eksplisit yang paling lazim daripada setiap satu daripada empat medan untuk membina konfigurasi perbandingan.
| Medan | Nilai dalam konfigurasi perbandingan |
|---|---|
| CPU | 2 |
| Memori | 4,096 MB |
| Storan | 10,240 MB |
| GPU | 0 |
Kami membina gabungan ini untuk analisis. Konfigurasi ini bukan tetapan lalai Harbor, cadangan pembekal atau konfigurasi yang diperhatikan dalam penggunaan sebenar. Nilainya lazim secara berasingan. Kekerapan gabungan penuh mungkin berbeza.
Bagi setiap tugasan, kami menyemak sama ada sekurang-kurangnya satu nilai eksplisit melebihi nilai perbandingan dalam medan yang sama. Ini berlaku pada 38 daripada 66 tugasan. Mengikut medan, 22 tugasan melebihi nilai CPU, 31 melebihi nilai memori, 17 melebihi nilai storan dan tiga melebihi bilangan GPU. Kumpulan ini bertindih, jadi menjumlahkannya akan mengira beberapa tugasan lebih daripada sekali. Hasil perbandingan menyenaraikan ID tugasan yang tepat untuk gabungan kumpulan dan setiap medan.
Dalam 28 tugasan selebihnya, tiada nilai yang direkodkan melebihi empat nilai perbandingan itu. Ini belum membuktikan bahawa konfigurasi tersebut serasi. Lapan tugasan tidak menyatakan bilangan GPU. Tinjauan membiarkannya sebagai nilai yang tidak dinyatakan dan tidak merekodkannya sebagai sifar. Fail, bekas tambahan, imej dan perkhidmatan boleh mengenakan keperluan di luar empat medan tersebut.
Untuk larian tanpa GPU, penyelenggara menyediakan set data berasingan yang mengandungi 63 tugasan untuk CPU sahaja dalam Terminal-Bench 4.1.0. Jalankannya dengan harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 dan laporkan hasilnya secara berasingan daripada skor keluaran penuh yang mengandungi 66 tugasan. Penyertaan dalam set tersebut tidak menunjukkan bahawa tugasan mematuhi had CPU, memori atau storan tertentu.
Sebelum menjalankan tugasan, gunakan senarai pengecualian untuk melihat tetapan yang akan diubah oleh persekitaran piawai.
Tetapan ditafsirkan oleh program pelaksana dan sistem pelaksanaan
Fail tugasan menerangkan sebahagian daripada konfigurasi penilaian. Untuk memahami cara tetapan yang dinyatakan digunakan, kami menyemak semakan tetap Harbor yang menunjukkan versi 0.26.0 dalam metadata pakej.
Dalam kod yang disemak, pilihan bagi sesuatu percubaan boleh menggantikan nilai sumber tugasan. Dasar CPU dan memori juga menentukan sama ada nilai tersebut digunakan atau diabaikan. Penghurai membiarkan nilai CPU, memori dan storan yang tidak dinyatakan tanpa nilai. Persekitaran asas mentafsir bilangan GPU yang tidak dinyatakan sebagai sifar apabila digunakan. Tinjauan mengekalkan ketiadaan nilai asal supaya pembaca boleh membezakan tetapan dalam tugasan daripada tafsiran program. Logik persekitaran Harbor pada semakan yang diperiksa
Sistem pelaksanaan turut mempengaruhi hasilnya. Penyesuai Docker yang disemak menukar dasar automatik CPU dan memori kepada had. Penyesuai itu secara jelas mengabaikan pemilihan jenis GPU, manakala kod yang menulis sumber Compose tidak menetapkan had storan. Tiga tugasan menyatakan H100 secara jelas. Medan itu sahaja tidak membuktikan bahawa Docker memperuntukkan H100. Begitu juga, nilai storage_mb sahaja tidak mewujudkan had cakera dalam Docker. Konfigurasi Compose boleh menambah sekatan, dan sistem pelaksanaan lain boleh mengendalikan nilai secara berbeza. Penyesuai Docker · Kod penulisan sumber Compose
Supaya penilaian boleh diulang, simpan tetapan yang dinyatakan dan rekod bagaimana sistem yang dipilih menggunakannya. Tetapan yang diminta dan peruntukan sebenar menjawab soalan yang berbeza.
Rekod tetapan yang diminta dan peruntukan yang diperhatikan dalam medan berasingan.
Rekod had masa ejen dan tetapan pengesah secara berasingan
Kesemua 66 fail tugasan menetapkan secara jelas had masa ejen sebanyak 28,800 saat, iaitu lapan jam. Ini ialah had maksimum dalam konfigurasi. Had masa yang dinyatakan untuk pengesahan berjulat daripada 60 hingga 18,000 saat, manakala bagi fasa penyediaan persekitaran, julatnya 300 hingga 18,000 saat. Ambil kira setiap fasa secara berasingan apabila menganggarkan tempoh tugasan.
Program pelaksana yang disemak boleh menggantikan had masa serta menggunakan nilai maksimum dan pengganda. Fungsi yang diperiksa menggunakan nilai maksimum sebelum pengganda. Analisis tidak menjumlahkan had fasa untuk meramalkan masa keseluruhan yang berlalu. Penentuan had masa dalam semakan yang diperiksa · Pengiraan peruntukan masa setiap fasa
Dengan peraturan daripada versi Harbor yang kami semak, kami mengira had masa pengesahan untuk kesemua 66 tugasan Terminal-Bench v4.1.0. Kami mencuba nilai maksimum 600 saat dan penggantian had masa kepada 600 saat secara berasingan. Pengganda ialah 1 dalam kedua-dua kes. Had masa tertinggi yang dikira ialah 600 saat untuk kedua-dua tetapan. Nilai maksimum mengekalkan 28 had masa yang lebih pendek. Penggantian menaikkan kesemua 28 had itu kepada 600 saat. Untuk mengekalkan had masa yang lebih pendek dalam konfigurasi ini, gunakan nilai maksimum dan rekod tetapan yang digunakan. Cara Harbor memilih had masa awal · Cara Harbor menggunakan nilai maksimum dan pengganda
Had masa kerja yang menjalankan ejen boleh menghentikan ejen yang berjalan secara setempat sebelum had masa ejen itu sendiri dicapai. Contohnya, jika ejen diperuntukkan lapan jam untuk satu tugasan, ejen tidak boleh menggunakan kesemua lapan jam itu dalam kerja yang dihoskan oleh GitHub dengan had enam jam. Persediaan dalam kerja yang sama turut menggunakan sebahagian daripada masa yang tersedia. Rekod had masa kerja dan had masa ejen secara berasingan.
Semua tugasan memilih pengesahan berasingan secara jelas. Enam menyertakan blok persekitaran pengesah. Fungsi Harbor yang disemak memilih keseluruhan blok yang dinyatakan secara jelas tanpa menggabungkan medannya dengan medan persekitaran tugasan. Jika tiada blok berasingan, fungsi menyalin persekitaran tugasan. Pilihan percubaan masih boleh mengubah konfigurasi yang benar-benar digunakan oleh pengesah. Pemilihan persekitaran pengesah
Rekod tetapan ejen dan pengesah secara berasingan walaupun kedua-duanya sama. Pengesahan berasingan sahaja tidak menentukan sumber yang benar-benar diperuntukkan atau sama ada kedua-dua persekitaran menggunakan sumber serentak.
Kami membandingkan nilai CPU, memori, storan, GPU, had masa dan mod pengesahan antara Terminal-Bench 4.0 dan 4.1 untuk 66 tugasan dengan nama dan laluan yang sepadan. Perbandingan menemukan dua tugasan yang berubah dalam medan ini. Untuk distributed-dedup, had masa pengesah meningkat daripada 1,800 kepada 3,900 saat. Untuk payments-pipeline-fix, nilai pengesah yang dinyatakan secara jelas meningkat daripada 6 CPU dan 12,288 MB kepada 8 CPU dan 16,384 MB. Ini ialah nilai yang dinyatakan. Nota keluaran 4.1 menyebut bahawa semua 66 tugasan diubah. Semakan terhad ini tidak menentukan sama ada arahan, imej atau pengesahnya setara.
Muat turun compare-versions.py dan census.json ke folder yang sama. Gunakan Python 3.11 atau lebih baharu dan capaian internet untuk menjalankan python3 compare-versions.py > comparison.json dari folder itu. Skrip mengambil daftar versi 4.0 pada semakan tetap dan metadata tugasan tanpa menjalankan tugasan. Laporan setempat mengekalkan rujukan sumber dan permintaan projek agar data penanda aras tidak dimasukkan ke dalam korpus latihan.
Perkara yang perlu disimpan apabila konfigurasi penilaian berubah
Tinjauan ini boleh digunakan untuk menyediakan rekod konfigurasi yang ringkas.
- Tetapkan set tugasan. Simpan manifes keluaran, semakan sumber dan laluan tugasan bersama-sama. Bilangan semua fail repositori boleh merangkumi bahan di luar keluaran penanda aras.
- Kekalkan tetapan asal yang dinyatakan. Catat nilai yang dinyatakan secara jelas dan medan yang tidak diisi, termasuk tetapan pengesah berasingan dan had masa setiap fasa.
- Rekod program pelaksana dan pilihannya. Simpan versi atau semakan yang tepat dan pilihan yang menggantikan atau menskalakan nilai tugasan.
- Semak dasar sistem pelaksanaan. Kenal pasti medan yang dijadikan had, tempahan sumber, nilai lalai atau permintaan yang tidak disokong.
- Catat peruntukan sebenar jika boleh diperhatikan. Asingkan daripada konfigurasi yang diminta dan penggunaan yang diukur ketika larian.
Jika anda sengaja mengubah had atau peruntukan, rekod perubahan itu bersama hasilnya. Pembaca kemudian boleh memahami syarat penilaian dan mengambil kira perbezaan antara persekitaran.
Perbandingan konfigurasi dan kod analisis memudahkan pengecualian disemak. sapien1 menggunakan semakan tugasan dan persekitaran seperti ini semasa menentukan skop projek penilaian ejen.
Untuk membandingkan had lain, muat turun penapis sumber dan data tinjauan ke folder yang sama. Contohnya, python3 filter-census.py --cpus 4 --memory-mb 8192 --status within menyenaraikan tugasan yang nilainya berada dalam had itu untuk persekitaran tugasan dan pengesah. Output mengekalkan nilai yang tiada dan tidak menentukan sendiri sama ada tugasan boleh dijalankan. Terminal-Bench meminta agar data penanda aras tidak dimasukkan ke dalam korpus latihan.
Bandingkan tugasan yang dipilih bagi setiap had sumber
Kedua-dua contoh had sumber masing-masing memilih 44 daripada 66 tugasan Terminal-Bench v4.1.0. Kedua-dua senarai berkongsi 36 tugasan dan setiap senarai mempunyai 8 tugasan tersendiri. Bagi setiap had, penapis menyemak nilai CPU, memori dan storan yang diisytiharkan secara berasingan untuk persekitaran tugasan dan persekitaran pengesah.
| CPU | Memori (MB) | Storan (MB) | Tugasan yang memenuhi ketiga-tiga had |
|---|---|---|---|
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |
Jalankan kedua-dua perintah dari folder yang mengandungi penapis dan inventori. Dalam setiap laporan, medan task dalam records menunjukkan ID tugasan yang dipilih.
python3 filter-census.py --cpus 4 --memory-mb 8192 \
--storage-mb 10240 --phases both --status within > ceiling-4cpu.json
python3 filter-census.py --cpus 2 --memory-mb 16384 \
--storage-mb 20480 --phases both --status within > ceiling-2cpu.json
Apabila melaporkan skor, simpan ID tugasan yang tepat bersama versi penanda aras dan tetapan sumber. Jika anda membandingkan dua larian berdasarkan tugasan yang dikongsi, kira kedua-dua skor menggunakan senarai yang sama.
Kaedah dan skop
Pada 17 November 2026 kami menyelesaikan tinjauan semua tetapan konfigurasi yang dinyatakan dalam satu keluaran. Analisis menerangkan tetapan ini dan tidak mengukur prestasi. Semakan sumber set data Terminal-Bench ialah 4070d6c. Semakan Harbor yang diperiksa ialah ec6aeab, dilabel versi 0.26.0 dalam metadata projek. Kaedah menyertakan nilai cincang penuh, pautan sumber, peraturan pengekstrakan dan perintah untuk mengulang analisis.
Skrip pengumpulan membaca manifes rasmi dan 66 fail TOML yang berjumlah 85,966 bait pada sumber. Skrip menyimpan medan versi secara berasingan serta menyemak alias sumber lama, langkah dan blok persekitaran tambahan. Tiada langkah atau alias sumber lama ditemui dalam keluaran ini. Muat turun awam mengandungi maklumat konfigurasi terpilih dan nilai cincang sumber. Arahan tugasan, penyelesaian dan persekitaran penuh tidak disertakan.
Kami menyemak secara bebas senarai tugasan dalam manifes, pengiraan dan sampel sumber yang merangkumi nilai luar biasa, medan GPU yang tidak dinyatakan dan blok pengesah yang ditetapkan secara jelas. Kami tidak menjalankan model, bekas atau tugasan penanda aras.