# Terminal-Bench kapsamındaki 66 görevin kaynak ayarları

Terminal-Bench v4.1.0, 66 görevi için farklı kaynak ayarları beyan eder. Yapılandırma dosyalarını incelediğimizde 31 görevin 4.096 MB'tan fazla bellek, 22 görevin ise ikiden fazla işlemci belirttiğini gördük. En sık açıkça belirtilen işlemci, bellek, depolama ve GPU değerlerini bir karşılaştırma yapılandırmasında birleştirdik. Bu yapılandırma, 38 görevde beyan edilen en az bir değerin altında kalıyor. Farklar, bir değerlendirme ekibinin yalıtılmış ortamlar kurarken hangi ayarları koruması veya belgelemesi gerektiğini gösterir. Kaynak tüketimini veya görev hatalarını tahmin etmek için yeterli değildir.

Aynı kıyaslamayı yeni bir ortamda çalıştırdığınızda hangi koşullar korunur? Bu, görev ve çalıştırıcı sürümlerine, görev değerlerinin üzerine yazan seçeneklere ve yürütme ortamının kurallarına bağlıdır.

## Sürüm farklı kaynak düzeylerindeki görevleri kapsıyor

3 Kasım 2026'da yayımlanan Terminal-Bench v4.1.0'ın resmî sürüm listesindeki tüm görevleri inceledik. İnceleme, sürümdeki 66 görevin tamamını kapsar. Her görev için sabit bir kaynak revizyonunda bir `task.toml` dosyası bulunur. Depoda bu incelemenin dışında kalan eski görevler ve yardımcı test dosyaları da vardır. [Resmî sürüm ve görev listesi](https://huggingface.co/datasets/harborframework/terminal-bench)

Ana ortam için beyan edilen değerler 2 ile 16 işlemci ve 4.096 ile 32.768 MB bellek arasındadır. En yaygın işlemci sayısı ikidir ve 44 görevde görülür. En yaygın bellek değeri 4.096 MB'tır ve 35 görevde görülür. Diğer görevler daha yüksek değerler belirtir.

![66 görevin tamamında açıkça belirtilen işlemci ve bellek değerlerinin dağılımı. 44 görevde 2, 14 görevde 4, 6 görevde 8 ve 2 görevde 16 işlemci. 35 görevde 4.096 MB, 22 görevde 8.192 MB, 8 görevde 16.384 MB ve bir görevde 32.768 MB bellek.](https://sapien1.com/research/terminal-bench-resource-settings/figures/tr/resource-distribution.svg)

Şeklin iki bölümü de aynı 66 görev ortamını kapsar. Değerler sürümün yapılandırma dosyalarından gelir. [İncelemenin tam verileri](https://sapien1.com/research/terminal-bench-resource-settings/census.json) her görev için sabit revizyona giden bir adres ve kaynak dosyanın özetini içerir.

Bu farklar, bir ekip altyapısını standartlaştırdığında önem kazanır. Tek tip ortam zamanlamayı kolaylaştırabilir, ancak çalıştırıcı göreve özgü ayarları uygulamazsa beyan edilen bazı koşullar değişir. Daha fazla donanımın bulunması da beyan edilmiş daha düşük bir sınırı kendiliğinden korumaz. Karşılaştırma, çalıştırıcının ve yürütme ortamının hangi sınırları gerçekten uyguladığına bağlıdır.

## Yaygın değerlerden oluşturulan bir yapılandırma birçok beyanı değiştiriyor

Karşılaştırma için dört alanın her birinde en sık açıkça belirtilen değeri bir araya getirdik.

| Alan | Karşılaştırma yapılandırmasındaki değer |
| --- | ---: |
| İşlemci sayısı | 2 |
| Bellek | 4.096 MB |
| Depolama | 10.240 MB |
| GPU sayısı | 0 |

Bu birleşimi analiz için oluşturduk. Harbor'ın varsayılan ayarı, bir sağlayıcı önerisi veya gözlemlenmiş bir dağıtım değildir. Değerler tek tek yaygındır. Tam birleşimin görülme sıklığı farklı olabilir.

Her görevde, açıkça belirtilen değerlerden birinin karşılık gelen karşılaştırma değerini aşıp aşmadığına baktık. **66 görevin 38'inde** en az bir değer sınırı aştı. İşlemci için 22, bellek için 31, depolama için 17 ve GPU sayısı için üç görev vardı. Gruplar kesiştiği için sayıları toplamak bazı görevleri birden fazla kez sayardı. [Karşılaştırma sonuçları](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json), birleşimdeki görev kimliklerinin tamamını ve her alana ait kimlikleri içerir.

Diğer 28 görevde kaydedilen hiçbir değer bu dört karşılaştırma değerini aşmıyor. Bu, yapılandırmanın onlarla uyumlu olduğunu göstermez. Sekiz görev GPU sayısını belirtmiyor. İnceleme bu alanı sıfır olarak kaydetmek yerine eksik bırakır. Dosyalar, yardımcı konteynerler, imajlar ve hizmetler de dört alanın dışında gereksinimler getirebilir.

GPU olmadan çalıştırmak için Terminal-Bench 4.1.0'ın geliştiricileri [yalnızca işlemci için 63 görevden oluşan ayrı bir veri kümesi](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only) sunar. `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` komutuyla çalıştırın ve sonuçlarını 66 görevlik tam sürümün sonuçlarından ayrı raporlayın. Bu veri kümesinde yer almak, bir görevin belirli bir işlemci, bellek veya depolama sınırına uyduğunu göstermez.

Bir çalıştırmadan önce, standart bir ortamın hangi ayarları değiştireceğini görmek için istisna listesini kullanın.

## Beyanı çalıştırıcı ve yürütme ortamı yorumluyor

Görev dosyası, değerlendirme yapılandırmasının bir parçasını açıklar. Beyanların nasıl kullanıldığını görmek için Harbor'ı sabit bir revizyonda inceledik. Bu revizyonun [paket üst verisinde sürüm 0.26.0 olarak geçiyor](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

İncelediğimiz kodda, denemeye özgü seçenekler görevin kaynak değerlerinin üzerine yazabilir. İşlemci ve bellek kuralları da değerlerin uygulanıp uygulanmayacağını belirleyebilir. Ayrıştırıcı, belirtilmemiş işlemci, bellek ve depolama değerlerini boş bırakır. Temel ortam, belirtilmemiş GPU sayısını uygulamada sıfır olarak yorumlar. İnceleme, okuyucunun görevdeki beyanı çalıştırıcının yorumundan ayırt edebilmesi için alanı eksik olarak korur. [İncelenen Harbor revizyonunun ortam mantığı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

Yürütme ortamı da sonucu etkiler. İncelediğimiz Docker bağdaştırıcısı otomatik işlemci ve bellek kurallarını sınırlara dönüştürür. [GPU türü seçimini açıkça yok sayar](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272) ve Compose kaynaklarını yazan kod bir depolama sınırı koymaz. Üç görev açıkça H100 belirtir. Bu alan tek başına Docker'ın H100 atadığını göstermez. Benzer biçimde `storage_mb` değeri tek başına Docker'da bir disk sınırı oluşturmaz. Compose yapılandırması ek kısıtlar getirebilir. Diğer yürütme ortamlarının davranışı farklı olabilir. [Docker bağdaştırıcısı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [Compose kaynaklarını yazan kod](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

Değerlendirmenin tekrarlanabilmesi için beyanı saklayın ve seçilen ortamın bu değerleri nasıl uyguladığını kaydedin. İstenen ayar ve gerçekleşen tahsis farklı soruları yanıtlar.

![Bir değerlendirmede kaydedilecek dört bilgi. Sabit revizyondaki görev beyanı, çalıştırıcı sürümü ve ayarları, yürütme ortamının kaynak kuralları ve gözlemlenebiliyorsa gerçekleşen tahsis.](https://sapien1.com/research/terminal-bench-resource-settings/figures/tr/evaluation-record.svg)

İstenen ayarları ve gözlemlenen tahsisi ayrı alanlara kaydedin.

## Ajanın süre sınırlarını ve doğrulayıcı ayarlarını ayrı kaydedin

66 görev dosyasının tamamı ajan için açıkça 28.800 saniye, yani sekiz saatlik bir sınır koyar. Bu, yapılandırılmış azami süredir. Beyan edilen doğrulama sınırları 60 ile 18.000 saniye, ortamı hazırlama sınırları 300 ile 18.000 saniye arasındadır. Görev süresini tahmin ederken aşamaları ayrı ele alın.

İncelenen çalıştırıcı süre sınırlarının üzerine yazabilir, azami değerler ve çarpanlar uygulayabilir. İncelenen işlev önce azami değeri, ardından çarpanı uygular. Analiz, geçen toplam süreyi tahmin etmek için aşama sınırlarını toplamaz. [İncelenen revizyonda süre sınırlarının belirlenmesi](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [Aşama süre bütçesinin hesabı](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

İncelediğimiz Harbor sürümünün kurallarını kullanarak Terminal-Bench v4.1.0’daki 66 görevin tamamı için doğrulama süre sınırlarını hesapladık. 600 saniyelik bir azami değeri ve süre sınırının üzerine 600 saniye yazmayı ayrı ayrı denedik. Her iki durumda da çarpan 1’di. Her iki ayarda da hesaplanan en yüksek süre sınırı 600 saniye oldu. Azami değer, zaten daha kısa olan 28 süre sınırını korudu. Üzerine yazma ayarı bu 28 sınırın tamamını 600 saniyeye çıkardı. Bu yapılandırmada daha kısa süre sınırlarını korumak için azami değeri kullanın ve kullandığınız ayarı kaydedin. [Harbor başlangıçtaki süre sınırını nasıl seçiyor?](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [Harbor azami değeri ve çarpanı nasıl uyguluyor?](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

Ajanı çalıştıran üst işin süre sınırı, yerel olarak çalışan bir ajanı kendi süre sınırı dolmadan durdurabilir. Örneğin ajana bir görev için sekiz saat ayrılmış olsa bile, altı saatle sınırlı [GitHub tarafından barındırılan bir iş](https://docs.github.com/en/actions/reference/limits) içinde bu sürenin tamamını kullanamaz. Aynı iş içindeki hazırlık da kullanılabilir süreden düşer. İşin süre sınırını ve ajanın süre sınırını ayrı kaydedin.

Tüm görevler ayrı doğrulamayı açıkça seçer. Altısı doğrulayıcı ortamı için bir blok belirtir. İncelenen Harbor işlevi açıkça belirtilen doğrulayıcı bloğunu bir bütün olarak seçer. Alanlarını görev ortamıyla tek tek birleştirmez. Ayrı bir blok yoksa görev ortamını kopyalar. Denemeye özgü seçenekler doğrulayıcının fiilen kullandığı yapılandırmayı değiştirebilir. [Doğrulayıcı ortamının seçimi](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

Ajanın ve doğrulayıcının ayarlarını aynı olsalar bile ayrı kaydedin. Ayrı doğrulama, tek başına, gerçekte hangi kaynakların ayrıldığını veya iki ortamın aynı anda kaynak kullanıp kullanmadığını göstermez.

Adları ve yolları aynı olan 66 görev için Terminal-Bench 4.0 ile 4.1 arasında işlemci, bellek, depolama, GPU, süre sınırı ve doğrulama modu beyanlarını karşılaştırdık. [Karşılaştırmada](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) iki görevin bu alanlarda değiştiği görüldü. `distributed-dedup` için doğrulama süresi 1.800 saniyeden 3.900 saniyeye çıktı. `payments-pipeline-fix` için açıkça belirtilen doğrulayıcı ayarları 6 işlemci ve 12.288 MB'tan 8 işlemci ve 16.384 MB'a çıktı. Bunlar beyan edilen değerlerdir. [4.1 sürüm notları](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) 66 görevin tamamının değiştirildiğini belirtir. Bu dar kapsamlı karşılaştırma, talimatların, imajların veya doğrulayıcıların eşdeğer olup olmadığını göstermez.

[compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) ve [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) dosyalarını aynı klasöre indirin. Python 3.11 veya daha yeni bir sürümle ve internet bağlantısıyla o klasörde `python3 compare-versions.py > comparison.json` komutunu çalıştırın. Betik 4.0 kaydının sabit revizyonunu ve görev üst verisini görevleri çalıştırmadan alır. Yerel rapor, kaynağı ve projenin verileri eğitim derlemlerinin dışında tutma talebini korur.

## Değerlendirme yapılandırması değiştiğinde hangi bilgileri saklamalı?

İnceleme, kısa bir yapılandırma kaydı hazırlamaya yardımcı olur.

1. **Görev kümesini sabitleyin.** Sürüm listesini, kaynak revizyonunu ve görev yollarını birlikte saklayın. Tüm deponun dosya sayısı bu sürümün dışında kalan dosyaları da içerebilir.
2. **Asıl beyanları koruyun.** Ayrı doğrulayıcı ayarları ve aşama süreleri dahil, açık değerleri ve belirtilmeyen alanları kaydedin.
3. **Çalıştırıcıyı ve seçeneklerini belgeleyin.** Tam sürümü veya revizyonu ve görev değerlerini değiştiren ya da ölçekleyen seçenekleri kaydedin.
4. **Yürütme ortamının kurallarını kontrol edin.** Hangi alanların sınıra, rezerve kaynağa, varsayılan değere veya desteklenmeyen talebe dönüştüğünü belirleyin.
5. **Gözlemlenebiliyorsa gerçekleşen kaynak tahsisini kaydedin.** Bunu istenen ayarlardan ve çalıştırma sırasında ölçülen tüketimden ayrı tutun.

Bir sınırı veya tahsisi bilerek değiştirirseniz değişikliği sonucun yanında belgeleyin. Böylece sonraki okuyucu değerlendirme koşullarını anlayabilir ve ortamlar arasındaki farkları hesaba katabilir.

[Yapılandırma karşılaştırması](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) ve [analiz kodu](https://sapien1.com/research/terminal-bench-resource-settings/census.py), istisnaları incelemeyi sağlar. sapien1, [ajan değerlendirme](https://sapien1.com/tr/agent-evaluation) projelerinin kapsamını belirlerken görevleri ve ortamları bu şekilde inceler.

Farklı sınırları karşılaştırmak için [kaynak filtresini](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) ve [inceleme verilerini](https://sapien1.com/research/terminal-bench-resource-settings/census.json) aynı klasöre indirin. Örneğin `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within`, hem görev hem de doğrulayıcı ortamında beyan edilen değerleri bu sınırların içinde kalan görevleri listeler. Çıktı, boş bırakılan alanları korur ve tek başına görevin çalışacağını göstermez. Terminal-Bench, kıyaslama verilerinin eğitim derlemlerinin dışında tutulmasını ister.

### Her kaynak sınırının seçtiği görevleri karşılaştırın

Örnekteki iki kaynak sınırı da Terminal-Bench v4.1.0 içindeki 66 görevin 44'ünü seçer. Listelerde 36 görev ortaktır. Her listede yalnızca o listede bulunan 8 görev vardır. Filtre, her sınır için beyan edilen CPU, bellek ve depolama değerlerini görev ve doğrulayıcı ortamlarında ayrı ayrı kontrol eder.

| CPU sayısı | Bellek (MB) | Depolama (MB) | Üç sınırı da aşmayan görevler |
| ---: | ---: | ---: | ---: |
| 4 | 8.192 | 10.240 | 44 |
| 2 | 16.384 | 20.480 | 44 |

İki komutu da filtrenin ve envanter dosyasının bulunduğu klasörden çalıştırın. Her raporda `records` içindeki `task` alanları seçilen görev kimliklerini gösterir.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

Bir puanı bildirirken görev kimliklerini tam olarak, kıyaslama sürümü ve kaynak ayarlarıyla birlikte kaydedin. İki çalıştırmayı ortak görevleri üzerinden karşılaştırıyorsanız iki puanı da aynı listeyi kullanarak hesaplayın.

## Yöntem ve kapsam

17 Kasım 2026'da tek bir sürümdeki tüm yapılandırma beyanlarını incelemeyi tamamladık. Çalışma bu beyanları kapsar ve performans ölçmez. Terminal-Bench veri kümesinin kaynak revizyonu `4070d6c`'dur. İncelenen Harbor revizyonu `ec6aeab`'dir ve proje üst verisinde 0.26.0 sürümü olarak tanımlanır. [Yöntem](https://sapien1.com/tr/research/terminal-bench-resource-settings/methods.md), tam dosya özetlerini, kaynak bağlantılarını, veri çıkarma kurallarını ve analizi tekrarlama komutlarını içerir.

Toplama betiği resmî görev listesini ve kaynakta toplam 85.966 bayt tutan 66 TOML dosyasını okur. Sürüm alanlarını ayrı saklar ve eski kaynak takma adlarını, adımları ve ek ortam bloklarını kontrol eder. Bu sürümde adım veya eski kaynak takma adı bulmadı. Herkese açık indirmeler seçili yapılandırma bilgilerini ve kaynak özetlerini içerir. Görev talimatları, çözümler ve tam ortamlar kapsam dışındadır.

Görev listesinin içeriğini, hesaplamaları ve bir aykırı değer, belirtilmemiş GPU alanı ve açıkça tanımlanmış doğrulayıcı bloğu içeren kaynak örneklerini bağımsız olarak kontrol ettik. Model, konteyner veya kıyaslama görevi çalıştırmadık.

