# Настройки ресурсов в 66 задачах Terminal-Bench

В Terminal-Bench v4.1.0 для 66 задач заявлены разные настройки ресурсов. Из конфигурационных файлов следует, что 31 задача указывает больше 4 096 MB памяти, а 22 указывают больше двух процессоров. Для сравнения мы собрали конфигурацию из самых частых явных значений для процессоров, памяти, хранилища и GPU. В 38 задачах хотя бы одно заявленное значение выше соответствующего значения этой конфигурации. По различиям можно определить, какие настройки стоит сохранить или задокументировать при подготовке изолированных сред оценки. Они не позволяют предсказать расход ресурсов или сбой задачи.

Какие условия сохраняются при запуске того же бенчмарка в новой среде? Это зависит от версий задачи и программы запуска, параметров, заменяющих значения задачи, и правил среды выполнения.

## В выпуск входят задачи с разными объёмами ресурсов

Мы проверили все задачи в официальном манифесте Terminal-Bench v4.1.0, выпущенного 3 ноября 2026 года. Обзор охватывает все 66 задач выпуска. Для каждой есть файл `task.toml` в фиксированной ревизии исходного кода. В репозитории также есть старые задачи и вспомогательные тестовые файлы, которые в обзор не входят. [Официальный выпуск и манифест](https://huggingface.co/datasets/harborframework/terminal-bench)

Для основной среды заявлено от 2 до 16 процессоров и от 4 096 до 32 768 MB памяти. Чаще всего указаны два процессора, в 44 задачах. Для памяти самое частое значение составляет 4 096 MB, в 35 задачах. В остальных задачах заявлены более высокие значения.

![Число явных значений процессоров и памяти в 66 задачах. Два процессора указаны в 44 задачах, 4 в 14, 8 в 6 и 16 в двух. Память 4 096 MB указана в 35 задачах, 8 192 MB в 22, 16 384 MB в 8 и 32 768 MB в одной.](https://sapien1.com/research/terminal-bench-resource-settings/figures/ru/resource-distribution.svg)

Обе части рисунка охватывают одни и те же 66 сред задач. Значения взяты из файлов конфигурации выпуска. [Полные данные](https://sapien1.com/research/terminal-bench-resource-settings/census.json) содержат для каждой задачи ссылку на фиксированную ревизию и хеш исходного файла.

Различия важны, когда команда стандартизирует инфраструктуру. Единая среда может упростить планирование, но изменит некоторые заявленные условия, если программа запуска не применит в ней настройки отдельных задач. Дополнительное оборудование также не сохраняет автоматически более низкий заявленный предел. Для сравнения важно, какие ограничения программа запуска и среда выполнения применяют на деле.

## Сочетание частых значений меняет многие исходные настройки

Для сравнения мы взяли самое частое явное значение в каждом из четырёх полей и объединили их в одну конфигурацию.

| Поле | Значение в конфигурации для сравнения |
| --- | ---: |
| Число процессоров | 2 |
| Память | 4 096 MB |
| Хранилище | 10 240 MB |
| Число GPU | 0 |

Мы собрали эту конфигурацию для анализа. Она не является настройкой Harbor по умолчанию, рекомендацией поставщика или конфигурацией развёртывания, которое мы наблюдали. Значения распространены по отдельности. Полное сочетание может встречаться с другой частотой.

Для каждой задачи мы проверили, превышает ли хотя бы одно явно указанное значение соответствующее значение для сравнения. Это произошло в **38 из 66 задач**. По полям превышения распределились так: процессоры в 22 задачах, память в 31, хранилище в 17, число GPU в трёх. Группы пересекаются, поэтому при сложении некоторые задачи учитывались бы несколько раз. [Результаты сравнения](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) содержат точные идентификаторы всех попавших в эти группы задач и отдельных групп по полям.

В остальных 28 задачах ни одно записанное значение не превышает эти четыре значения для сравнения. Это не устанавливает совместимость задач с конфигурацией. В восьми задачах число GPU опущено. Обзор сохраняет этот пропуск и не записывает вместо него ноль. Файлы, вспомогательные контейнеры, образы и службы могут предъявлять требования за пределами этих полей.

Для запусков без GPU разработчики Terminal-Bench 4.1.0 предоставляют [отдельный набор из 63 задач только для CPU](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only). Запустите его командой `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` и указывайте его результаты отдельно от результатов полного выпуска с 66 задачами. Включение в набор не означает, что задача вписывается в заданный лимит процессоров, памяти или хранилища.

Перед запуском воспользуйтесь списком исключений, чтобы проверить, какие настройки изменит стандартная среда.

## Программа запуска и среда выполнения интерпретируют декларации

Файл задачи описывает лишь часть конфигурации оценки. Чтобы проверить, как применяются декларации, мы исследовали Harbor в фиксированной ревизии, в которой [метаданные пакета указывают версию 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

В изученном коде параметры отдельной попытки могут заменить значения ресурсов задачи. Правила для процессоров и памяти могут также определять, применяются или игнорируются эти значения. Парсер оставляет пропущенные значения процессоров, памяти и хранилища незаданными. Базовая среда интерпретирует пропущенное число GPU как эффективный ноль. Обзор сохраняет исходный пропуск, чтобы отличать написанную в задаче настройку от её интерпретации программой запуска. [Логика среды Harbor в изученной ревизии](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

Результат зависит и от среды выполнения. Изученный адаптер Docker преобразует автоматические правила процессоров и памяти в ограничения. Он [явно игнорирует выбор типа GPU](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272), а код записи ресурсов Compose не задаёт верхнюю границу хранилища. Три задачи явно указывают H100, но само поле не доказывает, что Docker выделит H100. Аналогично, значение `storage_mb` само по себе не устанавливает ограничение диска в Docker. Существующая конфигурация Compose может добавлять ограничения, а другие среды выполнения могут обрабатывать эти значения иначе. [Адаптер Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [Код записи ресурсов Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

Для воспроизводимости сохраните исходную декларацию и запишите, как её применила выбранная среда. Запрошенная настройка и фактическое выделение ресурсов отвечают на разные вопросы.

![Четыре уровня для записи при оценке. Декларация задачи в фиксированной ревизии, версия и переопределения программы запуска, правила ресурсов в среде выполнения и наблюдаемое выделение, когда его можно установить.](https://sapien1.com/research/terminal-bench-resource-settings/figures/ru/evaluation-record.svg)

Записывайте запрошенные настройки и наблюдаемое выделение в разных полях.

## Записывайте отдельно ограничения времени агента и настройки проверки

Все 66 файлов задач явно задают ограничение времени агента в 28 800 секунд, то есть восемь часов. Это настроенная верхняя граница. Для проверки заявлены пределы от 60 до 18 000 секунд, для подготовки среды от 300 до 18 000 секунд. Учитывайте эти этапы раздельно, когда оцениваете длительность задачи.

Изученная программа запуска может заменять ограничения времени и применять максимальные значения и множители. В рассмотренной функции максимум применяется раньше множителя. В анализе мы не складываем пределы отдельных этапов для предсказания общего времени. [Определение ограничений времени в изученной ревизии](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [Вычисление бюджета времени по этапам](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

По правилам проверенной версии Harbor мы рассчитали ограничения времени проверки для всех 66 задач Terminal-Bench v4.1.0. Мы отдельно проверили максимум в 600 секунд и замену исходного ограничения на 600 секунд. Множитель в обоих случаях был равен 1. Наибольшее рассчитанное ограничение в обоих случаях составило 600 секунд. Максимум сохранил 28 более коротких ограничений. Замена увеличила все эти 28 ограничений до 600 секунд. Чтобы при такой настройке сохранить более короткие ограничения, используйте максимум и записывайте, какую настройку применили. [Как Harbor выбирает исходное ограничение времени](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [Как Harbor применяет максимум и множитель](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

Если агент запущен локально, задание может завершиться по своему ограничению времени и остановить агента до того, как истечёт его собственный лимит. Например, если агенту выделено восемь часов на задачу, он не сможет использовать всё это время в [задании на инфраструктуре GitHub](https://docs.github.com/en/actions/reference/limits) с лимитом в шесть часов. Подготовка в рамках того же задания тоже занимает часть доступного времени. Записывайте ограничение времени задания и ограничение времени агента отдельно.

Все задачи явно выбирают отдельную проверку. В шести задачах есть блок среды проверяющей программы. Изученная функция Harbor выбирает явно заданный блок целиком и не объединяет его поля со средой задачи. Если отдельного блока нет, она копирует среду задачи. Параметры каждой попытки всё ещё могут изменить итоговую конфигурацию проверяющей программы. [Выбор среды проверяющей программы](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

Храните настройки агента и проверяющей программы раздельно, даже если они совпадают. Выбор отдельной проверки сам по себе не сообщает, какие ресурсы выделены на деле и используются ли ресурсы обеими средами одновременно.

Для 66 задач с одинаковыми именами и путями мы сравнили декларации процессоров, памяти, хранилища, GPU, ограничений времени и режима проверки в Terminal-Bench 4.0 и 4.1. [Сравнение](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) выявило изменения этих полей у двух задач. У `distributed-dedup` ограничение времени проверки выросло с 1 800 до 3 900 секунд. У `payments-pipeline-fix` заявленные параметры проверяющей среды выросли с 6 процессоров и 12 288 MB до 8 процессоров и 16 384 MB. Это заявленные значения. В [заметках к выпуску 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) сказано, что изменились все 66 задач. Ограниченный набор сравниваемых полей не позволяет установить эквивалентность инструкций, образов или проверяющих программ.

Скачайте [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) и [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) в одну папку. С Python 3.11 или новее и доступом к интернету запустите `python3 compare-versions.py > comparison.json` из этой папки. Скрипт получает реестр версии 4.0 в фиксированной ревизии и метаданные задач, не запуская сами задачи. В локальном отчёте остаются указание источника и просьба проекта не включать данные бенчмарка в обучающие корпуса.

## Что сохранить при изменении конфигурации оценки

По результатам обзора можно составить краткую запись конфигурации.

1. **Зафиксируйте набор задач.** Храните вместе манифест выпуска, ревизию источника и пути задач. Общее число файлов репозитория может учитывать материалы вне выпуска.
2. **Сохраните исходные декларации.** Запишите явные значения и пропуски, включая отдельные настройки проверяющей программы и ограничения времени каждого этапа.
3. **Запишите программу запуска и её параметры.** Сохраните точную версию или ревизию и параметры, которые заменяют или масштабируют значения задачи.
4. **Проверьте правила среды выполнения.** Узнайте, какие поля превращаются в ограничения, резервирование и значения по умолчанию, а какие запросы не поддерживаются.
5. **Зафиксируйте фактическое выделение ресурсов, если его можно наблюдать.** Храните его отдельно от запрошенной конфигурации и измеренного потребления при запуске.

Если вы намеренно меняете ограничение или выделение ресурсов, запишите изменение рядом с результатом. Читатель сможет понять условия оценки и учесть различия между средами.

[Сравнение конфигураций](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) и [код анализа](https://sapien1.com/research/terminal-bench-resource-settings/census.py) позволяют проверить исключения. sapien1 так же изучает задачи и среды при определении объёма проекта по [оценке агентов](https://sapien1.com/ru/agent-evaluation).

Для сравнения других пределов скачайте [фильтр ресурсов](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) и [данные обзора](https://sapien1.com/research/terminal-bench-resource-settings/census.json) в одну папку. Например, команда `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` показывает задачи, заявленные значения которых укладываются в пределы как для среды задачи, так и для среды проверки. В выводе остаются пропущенные поля. По нему одному нельзя судить, сможет ли задача запуститься. Terminal-Bench просит не включать данные бенчмарка в обучающие корпуса.

### Сравните задачи, выбранные при разных лимитах

При каждом из двух наборов лимитов ресурсов отбираются 44 из 66 задач Terminal-Bench v4.1.0. В обоих списках есть 36 общих задач, а ещё 8 задач в каждом списке отсутствуют в другом. Для каждого набора лимитов фильтр отдельно проверяет заявленные значения числа процессоров, объёма памяти и хранилища в среде задачи и в среде проверки.

| Число процессоров | Память (MB) | Хранилище (MB) | Задачи, которые укладываются во все три лимита |
| ---: | ---: | ---: | ---: |
| 4 | 8 192 | 10 240 | 44 |
| 2 | 16 384 | 20 480 | 44 |

Выполните обе команды из папки, где находятся фильтр и файл сводных данных. В каждом отчёте поля `task` внутри `records` содержат идентификаторы выбранных задач.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

Приводя оценку, сохраните точные идентификаторы задач вместе с версией бенчмарка и настройками ресурсов. Если сравниваете два запуска по общим задачам, рассчитайте обе оценки по одному и тому же списку.

## Методика и границы анализа

17 ноября 2026 года мы завершили полный обзор деклараций конфигурации одного выпуска. Он описывает декларации и не измеряет производительность. Ревизия источника Terminal-Bench — `4070d6c`. Изученная ревизия Harbor — `ec6aeab`, в метаданных проекта указана версия 0.26.0. [Методика](https://sapien1.com/ru/research/terminal-bench-resource-settings/methods.md) содержит полные хеши, ссылки на источники, правила извлечения и команды для повторения обзора.

Скрипт сбора читает официальный манифест и 66 файлов TOML, всего 85 966 байт в источнике. Он хранит поля версий отдельно и проверяет наличие прежних псевдонимов ресурсов, шагов и дополнительных блоков среды. В выпуске не обнаружено шагов или прежних псевдонимов ресурсов. В публикуемых файлах есть отобранные сведения о конфигурации и хеши источников. Инструкции, решения и полные среды задач в них не входят.

Мы независимо проверили состав манифеста, вычисления и образцы источников с выбросом, пропущенным полем GPU и явно заданным блоком проверки. Модели, контейнеры и задачи бенчмарка мы не запускали.

