# Przegląd ustawień zasobów w Terminal-Bench

Utworzono: 2026-11-17
Zaktualizowano: 2026-11-17

## Pytanie i populacja

Które deklaracje poszczególnych zadań zmieniłaby jedna predefiniowana konfiguracja środowiska izolowanego w Terminal-Bench v4.1.0? W badaniu porównano opublikowane ustawienia, aby zespoły prowadzące ewaluacje mogły wybrać i udokumentować konfigurację środowiska. Badanie nie szacuje rzeczywistego zużycia zasobów, minimalnych wymagań sprzętowych, ceny, czasu ukończenia, wyników modelu ani prawdopodobieństwa niepowodzenia.

Populację stanowi wszystkich 66 pozycji oficjalnego manifestu wydania v4.1.0, a nie każdy plik przypominający zadanie w repozytorium. Wydanie opublikowano 3 listopada 2026 r. Metadane konfiguracji odczytano 17 listopada 2026 r. [Oficjalna karta zbioru danych](https://huggingface.co/datasets/harborframework/terminal-bench) wskazuje wydanie i jego [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Repozytorium źródłowe przypięto do commitu `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` w `harbor-framework/terminal-bench`.

Skrót SHA-256 manifestu to `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Każda obserwacja zawiera przypięty adres URL źródła i skrót SHA-256 pełnego pliku źródłowego `task.toml`. Wyłączono starsze zadania, dane testowe CI i szablony spoza manifestu wydania. Nie uruchomiono żadnego zadania, kontenera, modelu ani skryptu weryfikacyjnego.

## Ekstrakcja

Jednostką jest jedno zadanie z manifestu. Skrypt zbierający dane analizuje TOML za pomocą biblioteki standardowej Pythona i zapisuje jawne wartości CPU, pamięci, przestrzeni dyskowej, GPU, typu GPU, TPU i limitu czasu budowania dla środowiska najwyższego poziomu. Pominięte pola pozostają oznaczone jako pominięte. Limity czasu agenta i weryfikatora pozostają rozdzielone. Wartości liczbowe `1200` i `1200.0` są równoważne w zestawieniach liczbowych; obserwacje źródłowe zachowują ich przeanalizowane typy.

Obecność bloku środowiska weryfikatora jest zapisywana oddzielnie od obecności pól zasobów. Skrypt zachowuje również osobno schema_version, starsze pole version najwyższego poziomu i wersję zadania; oznacza starsze aliasy zasobów, kroki i dodatkowe bloki środowiska. W tym wydaniu nie znaleziono starszych aliasów zasobów ani kroków. 6 zadań ma jawne bloki środowiska weryfikatora. Pełne obserwacje zachowują wybrane pola tych bloków; główne rozkłady CPU i RAM dotyczą wyłącznie środowiska zadania najwyższego poziomu.

Łączny rozmiar 66 źródłowych plików TOML wynosi 85 966 bajtów. Opublikowany wynik ekstrakcji zawiera wybrane informacje o konfiguracji, nazwy pól, identyfikatory zadań i skróty źródeł. Nie zawiera instrukcji zadań, rozwiązań, testów, danych kontaktowych autorów ani wartości zmiennych środowiskowych. Pełne pliki źródłowe i obrazy używane w benchmarku nie są rozpowszechniane w tym pakiecie.

## Skonstruowane porównanie

Dla każdej z wartości: CPU, pamięci, przestrzeni dyskowej i liczby GPU wybrano najczęstszą jawną wartość spośród 66 deklaracji środowiska najwyższego poziomu: 2 CPU, 4096 MB pamięci, 10240 MB przestrzeni dyskowej i 0 GPU. Połączenie tych wartości tworzy naszą konfigurację porównawczą. Nie jest ona ustawieniem domyślnym Harbor, rekomendacją dostawcy ani zaobserwowaną konfiguracją ewaluacji.

Zadanie trafia do zbioru „powyżej konfiguracji porównawczej”, jeśli co najmniej jedna jawnie podana wartość liczbowa jest większa od odpowiadającej jej wartości w konfiguracji. Liczymy sumę zbiorów identyfikatorów zadań, a nie sumę liczebności dla poszczególnych pól. Brakujące wartości GPU nie są liczone jako zero ani nie stanowią dodatniego odstępstwa. 8 zadań z pominiętą liczbą GPU można nadal rozpoznać w danych źródłowych. Suma zbiorów obejmująca 38 zadań mierzy różnicę w deklaracjach; nie przewiduje, czy zadanie da się uruchomić lub czy zakończy się ono pomyślnie w dowolnej konfiguracji.

Policzono również odrębne wzorce deklaracji dla CPU, pamięci, przestrzeni dyskowej, liczby GPU, typu GPU i TPU, z wyłączeniem limitów czasu. Surowa liczba wzorców wynosi 27. Przyjęcie zera dla pominiętej liczby GPU zmniejsza ją do 22. Ze względu na tę wrażliwość artykuł w pierwszej kolejności przedstawia poszczególne pola zasobów i przejrzyste porównanie, zamiast przedstawiać liczbę wzorców jako liczbę wymagań sprzętowych.

## Interpretacja programu uruchamiającego

Sprawdzono kod źródłowy Harbor w commicie `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, którego metadane projektu wskazują wersję 0.26.0. Są to ustalenia wynikające z analizy kodu, a nie z wykonanej walidacji wszystkich zadań lub systemów wykonawczych.

- [Parser zadań](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) dopuszcza brak wartości CPU, pamięci, przestrzeni dyskowej i liczby GPU oraz migruje starsze wartości tekstowe pamięci i przestrzeni dyskowej. Pole wersji schematu jest ciągiem znaków; sama ścieżka migracji wersji nie dowodzi, że każde zadanie można wykonać.
- [Środowisko bazowe](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) stosuje wartości nadpisujące dla próby. Pominięta liczba GPU jest tam interpretowana jako zero; zasady ignorowania CPU i pamięci mogą powodować nieuwzględnienie tych wartości. W zbiorze zachowano informacje o pominięciach, nawet gdy program uruchamiający przypisuje im wartość.
- [Mechanizm ustalania środowiska weryfikatora](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) używa dostarczonego środowiska weryfikatora jako całości; w przeciwnym razie kopiuje środowisko zadania. Nie łączy jawnego bloku weryfikatora z ustawieniami agenta pole po polu. Podczas [tworzenia próby](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) nadal przekazywane są wartości nadpisujące środowiska.
- [Adapter Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) przekłada automatyczne zasady CPU i pamięci na limity i jawnie ignoruje wybór typu GPU. Jego [mechanizm zapisu zasobów Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) zapisuje ograniczenia CPU, pamięci i liczby GPU, ale nie limit przestrzeni dyskowej. Istniejąca konfiguracja Compose i inni dostawcy mogą działać inaczej.
- [Ustalanie limitów czasu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) i [obliczanie budżetu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) dopuszczają wartości nadpisujące, maksima i mnożniki. Zadeklarowane limity czasu agenta, weryfikatora i budowania nie są zaobserwowanymi czasami trwania. Nie przyjęto, że ich suma stanowi górną granicę łącznego czasu trwania próby.

Przegląd nie obejmuje każdego pliku Dockerfile, kontenera pomocniczego Compose, obrazu ani usługi zewnętrznej. Mogą one wprowadzać dodatkowe wymagania i ograniczenia dotyczące zasobów poza polami konfiguracji najwyższego poziomu. Badanie nie pozwala wyciągnąć wniosków o trafności benchmarku ani zmianach wyników.

## Odtworzenie analizy

Używając Pythona 3.11 lub nowszego, uruchom `python3 census.py`, aby ponownie wygenerować `census-results.json` z dostarczonego `census.json`. Uruchom `python3 census.py --collect`, aby przed analizą ponownie pobrać ustalony manifest i wszystkie 66 przypiętych plików TOML. Skrypt zbierający dane wykonuje najwyżej 3 równoczesne odczyty, ogranicza rozmiar manifestu do 300 KB, a każdego zadania do 100 KB i kończy działanie błędem, jeśli skład manifestu lub jego przypięty skrót się różni. Nie wprowadza zmian u dostawcy i nie wykonuje pobranego kodu.

Uruchom `python3 render-assets.py`, aby ponownie wygenerować 2 oryginalne ilustracje SVG. Do generowania ilustracji użyto ReportLab; opublikowane pliki źródłowe wyrenderowano przy użyciu ReportLab 4.4.9 i Pythona 3.12.14. Wykres rozkładu odczytuje wyniki analizy bezpośrednio. Druga ilustracja jest opracowanym przez autorów schematem rekordu konfiguracji, a nie danymi empirycznymi. Oba pliki SVG zachowują tekst, dostępne tytuły i opisy.

Źródłowy benchmark korzysta z licencji [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Prawa autorskie do źródeł pozostają przy ich autorach. Pakiet zawiera wybrane przez Sapien1 fakty wydobyte ze źródeł i oryginalną analizę; nie przyznaje praw do zasobów zadań osób trzecich ani zawartości kontenerów.
