# Terminal-Bench kaynak ayarları sayımı

Oluşturulma: 2026-11-17
Güncellenme: 2026-11-17

## Soru ve incelenen evren

Terminal-Bench v4.1.0 kapsamında tek bir korumalı alan ön ayarı göreve özgü hangi beyanları değiştirir? Bu çalışma, değerlendirme ekiplerinin bir ortam yapılandırması seçip belgelemesine yardımcı olmak için yayımlanan ayarları karşılaştırır. Gerçek kaynak kullanımını, asgari donanımı, fiyatı, tamamlanma süresini, model performansını veya başarısızlık olasılığını tahmin etmez.

İncelenen evren, depodaki göreve benzeyen her dosya değil, resmi v4.1.0 sürüm manifestosundaki 66 üyenin tamamıdır. Sürüm 3 Kasım 2026'da yayımlandı. Yapılandırma meta verileri 17 Kasım 2026'da okundu. [Resmi veri kümesi kartı](https://huggingface.co/datasets/harborframework/terminal-bench) sürümü ve [manifestosunu](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json) belirtir. Kaynak deposu, `harbor-framework/terminal-bench` içindeki `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` commit'ine sabitlenmiştir.

Manifestonun SHA-256 değeri `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Her gözlem, sabitlenmiş bir kaynak URL'si ve kaynak `task.toml` dosyasının tamamına ait SHA-256 değerini içerir. Sürüm manifestosu dışındaki eski görevler, CI test fikstürleri ve şablonlar kapsam dışıdır. Hiçbir görev, container, model veya doğrulama betiği çalıştırılmadı.

## Çıkarım

Birim, manifestodaki 1 görevdir. Toplayıcı, TOML dosyalarını Python'un standart kütüphanesiyle ayrıştırır ve açıkça belirtilmiş üst düzey ortam CPU, bellek, depolama, GPU, GPU türü, TPU ve derleme zaman aşımı değerlerini kaydeder. Belirtilmeyen alanları belirtilmemiş olarak korur. Ajan ve doğrulayıcı zaman aşımı değerleri ayrı tutulur. Sayısal `1200` ve `1200.0`, özet sayımlarda eşdeğerdir; kaynak gözlemlerde ayrıştırılmış türleri korunur.

Doğrulayıcı ortamı bloğunun varlığı, kaynak alanlarının varlığından ayrı olarak kaydedilir. Toplayıcı ayrıca schema_version, eski üst düzey version ve görev sürümünü ayrı ayrı tutar; eski kaynak takma adlarını, adımları ve ek ortam bloklarını işaretler. Bu sürümde eski kaynak takma adı veya adım bulunmadı. 6 görevde açıkça belirtilmiş doğrulayıcı ortamı bloğu vardır. Tam gözlemler bu blokların seçili alanlarını içerir; ana CPU/RAM dağılımları yalnızca görevin üst düzey ortamına ilişkindir.

66 kaynak TOML dosyası toplam 85.966 bayttır. Yayımlanan çıkarım, seçili yapılandırma bilgilerini, alan adlarını, görev tanımlayıcılarını ve kaynak karma değerlerini içerir. Görev talimatlarını, çözümleri, testleri, yazarların iletişim bilgilerini ve ortam değişkeni değerlerini içermez. Tam kaynak dosyaları ve benchmark imajları bu pakette yeniden dağıtılmaz.

## Oluşturulan karşılaştırma

CPU, bellek, depolama ve GPU sayısının her biri için 66 üst düzey ortam beyanında açıkça belirtilen en sık değeri seçtik: 2 CPU, 4.096 MB bellek, 10.240 MB depolama ve 0 GPU. Bu değerleri birleştirerek karşılaştırma ön ayarımızı oluşturduk. Bu ön ayar, Harbor'ın varsayılanı, bir sağlayıcının önerisi veya gözlemlenmiş bir değerlendirme kurulumu değildir.

Açıkça belirtilen sayısal değerlerden en az biri, karşılık gelen ön ayar değerinden büyükse görev “karşılaştırma ön ayarının üzerinde” kümesine girer. Alan başına sayıları toplamak yerine görev tanımlayıcılarının birleşimini alırız. Belirtilmeyen GPU değerleri sıfır sayılmaz ve eşik üstü bir durum oluşturmaz. GPU sayısı belirtilmeyen 8 görev kaynak verilerde ayrı ayrı belirlenebilir. 38 görevlik birleşim, beyanlar arasındaki farkı ölçer; görevin herhangi bir ön ayarla çalışıp çalışamayacağını veya testi geçip geçemeyeceğini öngörmez.

Ayrıca zaman aşımlarını hariç tutarak CPU, bellek, depolama, GPU sayısı, GPU türü ve TPU alanlarındaki farklı beyan örüntülerini saydık. Ham örüntü sayısı 27'dir. Belirtilmeyen GPU sayısının sıfır kabul edilmesi bu sayıyı 22'ye düşürür. Bu duyarlılık nedeniyle makale, örüntü sayısını donanım gereksinimi sayısı olarak sunmak yerine kaynak alanlarını ayrı ayrı ve açık bir karşılaştırmayla ele alır.

## Çalıştırıcının yorumlaması

Harbor kaynağını `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` commit'inde inceledik; projenin meta verileri sürümü 0.26.0 olarak belirtiyor. Bunlar kod incelemesinden elde edilen bulgulardır; tüm görevlerin veya arka uçların çalıştırılarak doğrulanmasına dayanmaz.

- [Görev ayrıştırıcısı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435), CPU, bellek, depolama ve GPU sayılarını null olabilir durumda bırakır ve eski bellek/depolama dizelerini dönüştürür. Şema sürümü alanı bir dizedir; sürüm geçiş yolu tek başına her görevin çalışabileceğini göstermez.
- [Temel ortam](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468), deneme için belirlenen geçersiz kılma değerlerini uygular. Belirtilmeyen GPU sayısı burada sıfır olarak çözülür; CPU/belleği yok sayma politikaları bu değerlerin uygulanmasını engelleyebilir. Çalıştırıcı belirtilmeyen bir alanı bir değere eşlese de veri kümesinde bu alanı belirtilmemiş olarak koruruz.
- [Doğrulayıcı çözümleyicisi](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15), sağlanan bir doğrulayıcı ortamını bütün olarak kullanır; ortam sağlanmamışsa görev ortamını kopyalar. Açıkça belirtilmiş bir doğrulayıcı bloğunu ajan ayarlarıyla alan alan birleştirmez. [Deneme oluşturma](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) işlemi yine de ortam için geçersiz kılma değerlerini aktarır.
- [Docker bağdaştırıcısı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568), otomatik CPU/bellek politikalarını sınırlara eşler ve GPU türü seçimini açıkça yok sayar. [Compose kaynak yazıcısı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36), CPU, bellek ve GPU sayısı kısıtlarını yazar; depolama üst sınırı yazmaz. Mevcut Compose yapılandırması ve diğer sağlayıcılar farklı davranabilir.
- [Zaman aşımı çözümlemesi](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) ve [bütçe hesaplaması](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724), geçersiz kılma değerlerine, üst sınırlara ve çarpanlara izin verir. Ajan, doğrulayıcı ve derleme zaman aşımı beyanları gözlemlenmiş süreler değildir. Bunların toplamının toplam deneme süresi için bir üst sınır olduğu ileri sürülmez.

Bu sayım her Dockerfile, Compose sidecar'ı, imajı veya harici hizmeti incelemez. Bunlar, üst düzey yapılandırma alanlarının dışında ek kaynak gereksinimleri ve kısıtlamalar getirebilir. Bu çalışmadan benchmark geçerliliği veya puan değişiklikleri hakkında bir sonuç çıkarılamaz.

## Yeniden üretme

`census-results.json` dosyasını sağlanan `census.json` dosyasından yeniden oluşturmak için Python 3.11 veya sonraki bir sürümle `python3 census.py` komutunu çalıştırın. Analizden önce sabitlenmiş manifestoyu ve 66 sabitlenmiş TOML dosyasının tamamını yeniden getirmek için `python3 census.py --collect` komutunu çalıştırın. Toplayıcı aynı anda en fazla 3 okuma yapar, manifestoyu 300 KB ve her görevi 100 KB ile sınırlar; manifesto üyeleri veya sabitlenmiş manifesto karma değeri farklıysa işlem başarısız olur. Sağlayıcı tarafında değişiklik yapmaz ve indirilen kodu çalıştırmaz.

Özgün 2 SVG görselini yeniden oluşturmak için `python3 render-assets.py` komutunu çalıştırın. Görsel oluşturma işlemi ReportLab kullanır; yayımlanan ana dosyalar ReportLab 4.4.9 ve Python 3.12.14 ile işlendi. Dağılım görseli analiz sonuçlarını doğrudan okur. İkinci görsel, yapılandırma kaydının yazar tarafından oluşturulmuş bir diyagramıdır; ampirik veri değildir. Her 2 SVG de metni, erişilebilir başlıkları ve açıklamaları korur.

Kaynak benchmark [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE) kullanır. Kaynakların telif hakları yazarlarına aittir. Bu paket, Sapien1'ın seçtiği olgusal çıkarımı ve özgün analizini içerir; üçüncü taraf görev varlıkları veya container içerikleri üzerinde hak vermez.
