# Ustawienia zasobów w 66 zadaniach Terminal-Bench

Terminal-Bench v4.1.0 deklaruje różne ustawienia zasobów dla 66 zadań. W plikach konfiguracyjnych 31 zadań określa więcej niż 4 096 MB pamięci, a 22 określają więcej niż dwa procesory. Z najczęstszych jawnie podanych wartości procesorów, pamięci, miejsca na dysku i GPU zbudowaliśmy konfigurację porównawczą. W 38 zadaniach co najmniej jedna deklaracja wykracza ponad odpowiednią wartość tej konfiguracji. Różnice wskazują, które ustawienia warto zachować lub udokumentować przy przygotowywaniu izolowanych środowisk ewaluacji. Nie pozwalają przewidzieć zużycia zasobów ani błędów wykonania zadań.

Które warunki będą obowiązywać po uruchomieniu tego samego benchmarku w nowym środowisku? To zależy od wersji zadania i programu wykonawczego, opcji zastępujących wartości oraz reguł środowiska wykonawczego.

## Wydanie obejmuje zadania o różnych deklaracjach zasobów

Przejrzeliśmy wszystkie zadania z oficjalnego manifestu Terminal-Bench v4.1.0, wydanego 3 listopada 2026 roku. Analiza obejmuje wszystkie 66 zadań z tego wydania. Każde ma plik `task.toml` w ustalonej rewizji źródła. W repozytorium są też starsze zadania i pliki pomocnicze testów, które nie wchodzą do tego zestawienia. [Oficjalne wydanie i manifest](https://huggingface.co/datasets/harborframework/terminal-bench)

Wartości deklarowane dla głównego środowiska wynoszą od 2 do 16 procesorów i od 4 096 do 32 768 MB pamięci. Najczęściej deklarowano dwa procesory, w 44 zadaniach. Najczęstsza wartość pamięci to 4 096 MB, w 35 zadaniach. W pozostałych zadaniach występują wyższe wartości.

![Liczba jawnych deklaracji procesorów i pamięci w 66 zadaniach. Dla procesorów wartość 2 występuje w 44 zadaniach, 4 w 14, 8 w 6 i 16 w dwóch. Dla pamięci 4 096 MB występuje w 35 zadaniach, 8 192 MB w 22, 16 384 MB w 8 i 32 768 MB w jednym.](https://sapien1.com/research/terminal-bench-resource-settings/figures/pl/resource-distribution.svg)

Obie części ilustracji obejmują te same 66 środowisk zadań. Wartości pochodzą z plików konfiguracyjnych wydania. [Pełne dane](https://sapien1.com/research/terminal-bench-resource-settings/census.json) zawierają adres ustalonej rewizji i skrót pliku źródłowego każdego zadania.

Ma to znaczenie, gdy zespół ujednolica infrastrukturę. Jednolite środowisko może uprościć planowanie, lecz zmienia część deklarowanych warunków, jeśli program wykonawczy nie ustawi wartości właściwych dla danego zadania. Więcej sprzętu nie gwarantuje też zachowania niższego zadeklarowanego limitu. Porównanie zależy od tego, które ograniczenia rzeczywiście stosują program i środowisko wykonawcze.

## Konfiguracja z częstych wartości zmienia wiele deklaracji

W konfiguracji porównawczej połączyliśmy najczęstszą jawną wartość z każdego z czterech pól.

| Pole | Wartość w konfiguracji porównawczej |
| --- | ---: |
| Procesory | 2 |
| Pamięć | 4 096 MB |
| Miejsce na dysku | 10 240 MB |
| GPU | 0 |

Zestawiliśmy te wartości na potrzeby analizy. Nie jest to ustawienie domyślne Harbor, zalecenie dostawcy ani zaobserwowane wdrożenie. Poszczególne wartości są częste. Całe zestawienie może występować z inną częstotliwością.

Dla każdego zadania sprawdziliśmy, czy co najmniej jedna jawna deklaracja jest wyższa od odpowiedniej wartości porównawczej. Dotyczy to **38 z 66 zadań**. Dla procesorów to 22 zadania, dla pamięci 31, dla miejsca na dysku 17, a dla liczby GPU trzy. Grupy się pokrywają, więc ich dodanie mogłoby policzyć część zadań wielokrotnie. [Wyniki porównania](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) zawierają dokładne identyfikatory zadań dla sumy zbiorów i poszczególnych pól.

W pozostałych 28 zadaniach żadna zapisana wartość nie przekracza tych czterech wartości odniesienia. Nie ustala to ich zgodności z konfiguracją. Osiem zadań pomija liczbę GPU. Zestawienie zachowuje brak pola zamiast wpisywać zdeklarowane zero. Pliki, kontenery pomocnicze, obrazy i usługi mogą wprowadzać wymagania spoza tych czterech pól.

Dla uruchomień bez GPU twórcy Terminal-Bench 4.1.0 udostępniają [osobny zbiór 63 zadań przeznaczonych do wykonania na CPU](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only). Uruchom go poleceniem `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` i raportuj wyniki osobno od wyników pełnej wersji liczącej 66 zadań. Obecność zadania w tym zbiorze nie dowodzi, że mieści się ono w konkretnym limicie procesorów, pamięci lub miejsca na dysku.

Przed uruchomieniem skorzystaj z listy wyjątków, aby sprawdzić, które ustawienia zmieniłoby standardowe środowisko.

## Program i środowisko wykonawcze interpretują deklarację

Plik zadania opisuje część konfiguracji ewaluacji. Aby sprawdzić, jak deklaracje są używane, przejrzeliśmy stałą rewizję Harbor, w której [metadane pakietu wskazują wersję 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

W badanym kodzie opcje pojedynczej próby mogą zastąpić wartości zasobów zadania. Reguły procesorów i pamięci mogą też decydować, czy wartości będą stosowane, czy pomijane. Parser zostawia puste wartości procesorów, pamięci i miejsca na dysku, jeśli je pominięto. Środowisko bazowe traktuje brak liczby GPU jako efektywne zero. Analiza zachowuje pierwotny brak, żeby odróżnić ustawienia zapisane w zadaniu od ich interpretacji podczas wykonania. [Logika środowisk Harbor w badanej rewizji](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

Na wynik wpływa też środowisko wykonawcze. Badany adapter Dockera zamienia automatyczne reguły procesorów i pamięci na limity. [Jawnie ignoruje wybór typu GPU](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272), a kod zapisujący zasoby Compose nie zapisuje limitu miejsca na dysku. Trzy zadania jawnie wskazują H100. Samo pole nie dowodzi, że Docker ją przydzieli. Podobnie wartość `storage_mb` sama w sobie nie ustanawia limitu dysku w Dockerze. Dodatkowe ograniczenia mogą wynikać z konfiguracji Compose, a inne środowiska wykonawcze mogą działać inaczej. [Adapter Dockera](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [Kod zapisujący zasoby Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

Aby dało się powtórzyć ewaluację, zachowaj deklarację i zapisz, w jaki sposób wybrane środowisko ją zastosowało. Ustawienia żądane i rzeczywisty przydział pozwalają odpowiedzieć na różne pytania.

![Cztery elementy, które warto zapisać przy ewaluacji. Deklaracja zadania w ustalonej rewizji, wersja i opcje programu, zasady przydziału zasobów w środowisku wykonawczym oraz zaobserwowany przydział, jeśli można go ustalić.](https://sapien1.com/research/terminal-bench-resource-settings/figures/pl/evaluation-record.svg)

Zapisuj żądane ustawienia i zaobserwowany przydział w osobnych polach.

## Zapisuj osobno limity czasu agenta i ustawienia weryfikatora

Wszystkie 66 plików zadań jawnie ustawia limit czasu agenta na 28 800 sekund, czyli osiem godzin. To skonfigurowana górna granica. Deklarowane limity weryfikacji wynoszą od 60 do 18 000 sekund, a limity przygotowania środowiska od 300 do 18 000 sekund. Przy szacowaniu czasu zadania rozpatruj każdą fazę osobno.

Badany program może zmieniać limity czasu oraz stosować wartości maksymalne i mnożniki. W analizowanej funkcji wartość maksymalna jest stosowana przed mnożnikiem. Analiza nie sumuje limitów poszczególnych faz w celu przewidzenia całkowitego czasu. [Wyznaczanie limitów w badanej rewizji](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [Obliczanie budżetu czasu dla faz](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

Zgodnie z zasadami ze sprawdzonej wersji Harbor obliczyliśmy limity czasu weryfikacji dla wszystkich 66 zadań w Terminal-Bench v4.1.0. Osobno sprawdziliśmy maksimum wynoszące 600 sekund i zastąpienie limitu wartością 600 sekund. W obu przypadkach mnożnik wynosił 1. Najwyższy obliczony limit wyniósł 600 sekund przy obu ustawieniach. Maksimum zachowało 28 krótszych limitów. Zastąpienie limitu podniosło wszystkie te 28 limitów do 600 sekund. Aby w tym ustawieniu zachować krótsze limity zadań, użyj maksimum i zapisz, którego ustawienia użyto. [Jak Harbor wybiera początkowy limit czasu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [Jak Harbor stosuje wartość maksymalną i mnożnik](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

Limit czasu nadrzędnego zadania może przerwać pracę agenta działającego lokalnie, zanim upłynie jego własny limit. Jeśli agent ma na przykład osiem godzin na wykonanie zadania, nie może wykorzystać całego tego czasu w ramach [zadania hostowanego przez GitHub](https://docs.github.com/en/actions/reference/limits) z limitem sześciu godzin. Przygotowania w ramach tego samego zadania hostowanego również zabierają część dostępnego czasu. Zapisuj osobno limit czasu zadania hostowanego i limit czasu agenta.

Wszystkie zadania jawnie wybierają osobną weryfikację. Sześć zawiera blok środowiska weryfikatora. Badana funkcja Harbor wybiera jawnie określony blok w całości i nie łączy jego pól z polami środowiska zadania. Gdy bloku brak, kopiuje środowisko zadania. Opcje pojedynczej próby wciąż mogą zmienić konfigurację faktycznie używaną przez weryfikator. [Wybór środowiska weryfikatora](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

Zapisuj ustawienia agenta i weryfikatora oddzielnie, nawet jeśli się pokrywają. Oddzielna weryfikacja sama w sobie nie określa, jakie zasoby zostały faktycznie przydzielone ani czy oba środowiska zużywają zasoby jednocześnie.

Porównaliśmy deklaracje procesorów, pamięci, miejsca na dysku, GPU, limitów czasu i trybu weryfikacji w Terminal-Bench 4.0 i 4.1 dla 66 zadań o tych samych nazwach i ścieżkach. [Porównanie](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) wykazało zmiany w tych polach dla dwóch zadań. W `distributed-dedup` limit weryfikacji wzrósł z 1 800 do 3 900 sekund. W `payments-pipeline-fix` jawne wartości weryfikatora wzrosły z 6 procesorów i 12 288 MB do 8 procesorów i 16 384 MB. To deklaracje, bez pomiaru przydziału. [Informacje o wydaniu 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) podają, że zmieniono wszystkie 66 zadań. Ten wąski zakres analizy pozostawia otwartą kwestię równoważności instrukcji, obrazów i weryfikatorów.

Pobierz [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) i [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) do tego samego folderu. Używając Pythona 3.11 lub nowszego i dostępu do internetu, uruchom w nim `python3 compare-versions.py > comparison.json`. Skrypt pobiera rejestr wersji 4.0 z ustalonej rewizji i metadane zadań bez wykonywania zadań. Lokalny raport zachowuje wskazanie źródła oraz prośbę projektu o wyłączenie danych benchmarku z korpusów treningowych.

## Co zachować przy zmianie konfiguracji ewaluacji

Na podstawie zestawienia można przygotować krótki zapis konfiguracji.

1. **Ustal zestaw zadań.** Zachowaj razem manifest wydania, rewizję źródłową i ścieżki zadań. Łączna liczba plików repozytorium może obejmować materiały spoza wydania.
2. **Zachowaj pierwotne deklaracje.** Zapisz jawne wartości i pominięcia, w tym osobne ustawienia weryfikatora i limity czasu poszczególnych faz.
3. **Udokumentuj program wykonawczy i jego opcje.** Zapisz dokładną wersję lub rewizję i opcje, które zastępują albo skalują wartości w zadaniu.
4. **Sprawdź zasady środowiska wykonawczego.** Ustal, które pola stają się limitami, rezerwacjami, wartościami domyślnymi lub żądaniami bez obsługi.
5. **Zapisz faktyczny przydział, jeśli można go zaobserwować.** Oddziel go od konfiguracji żądanej i zużycia zmierzonego w czasie uruchomienia.

Gdy celowo zmieniasz limit lub przydział, odnotuj to obok wyniku. Dzięki temu późniejszy czytelnik może zrozumieć warunki ewaluacji i wziąć pod uwagę różnice między środowiskami.

Ich sprawdzenie ułatwiają [porównanie konfiguracji](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) i [kod analizy](https://sapien1.com/research/terminal-bench-resource-settings/census.py). sapien1 stosuje takie sprawdzenie zadań i środowisk, ustalając zakres projektów [ewaluacji agentów](https://sapien1.com/pl/agent-evaluation).

Aby porównać inne limity, pobierz [filtr zasobów](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) i [dane zestawienia](https://sapien1.com/research/terminal-bench-resource-settings/census.json) do tego samego folderu. `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` pokazuje na przykład zadania, dla których deklaracje zadania i weryfikatora mieszczą się w tych granicach. Wynik zachowuje pominięcia i sam nie przesądza o wykonaniu zadania. Terminal-Bench prosi o wyłączenie danych benchmarku z korpusów treningowych.

### Porównaj zadania wybrane przy poszczególnych limitach

Każdy z dwóch przykładowych zestawów limitów zasobów pozwala wybrać 44 z 66 zadań z Terminal-Bench v4.1.0. Obie listy mają 36 zadań wspólnych i po 8 zadań występujących tylko na jednej z nich. Dla każdego zestawu limitów filtr sprawdza zadeklarowaną liczbę procesorów oraz ilość pamięci i miejsca na dysku osobno w środowisku zadania i w środowisku weryfikującym.

| Procesory | Pamięć (MB) | Miejsce na dysku (MB) | Zadania mieszczące się we wszystkich trzech limitach |
| ---: | ---: | ---: | ---: |
| 4 | 8 192 | 10 240 | 44 |
| 2 | 16 384 | 20 480 | 44 |

Uruchom oba polecenia z folderu zawierającego filtr i plik zestawienia. W każdym raporcie pola `task` w `records` wskazują identyfikatory wybranych zadań.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

Podając wynik, zapisz dokładne identyfikatory zadań razem z wersją benchmarku i ustawieniami zasobów. Jeśli porównujesz dwa uruchomienia na podstawie wspólnych zadań, oblicz oba wyniki na tej samej liście.

## Metoda i zakres

17 listopada 2026 roku zakończyliśmy pełne zestawienie deklaracji konfiguracyjnych jednego wydania. Analiza obejmuje te deklaracje i nie mierzy wydajności. Rewizja źródłowa zbioru Terminal-Bench to `4070d6c`. Badana rewizja Harbor to `ec6aeab`, oznaczona w metadanych projektu jako wersja 0.26.0. [Metoda](https://sapien1.com/pl/research/terminal-bench-resource-settings/methods.md) obejmuje pełne skróty, źródła, zasady pobierania danych i polecenia pozwalające powtórzyć analizę.

Skrypt czyta oficjalny manifest i 66 plików TOML, które zajmują w źródle łącznie 85 966 bajtów. Zachowuje osobno pola wersji i szuka starszych aliasów zasobów, kroków oraz dodatkowych bloków środowiska. W tym wydaniu nie znalazł kroków ani starszych aliasów. Publiczne pliki do pobrania zawierają wybrane dane konfiguracyjne i skróty źródeł. Instrukcje zadań, rozwiązania i pełne środowiska są poza tym zakresem.

Niezależnie sprawdziliśmy skład manifestu, obliczenia i przykłady ze źródeł obejmujące wartość odstającą, pominięte pole GPU i jawny blok weryfikacji. Nie uruchamialiśmy modeli, kontenerów ani zadań benchmarku.

