# Обзор настроек ресурсов Terminal-Bench

Создано: 2026-11-17
Обновлено: 2026-11-17

## Вопрос и исследуемая совокупность

Какие заданные для отдельных задач параметры изменил бы единый набор настроек изолированной среды в Terminal-Bench v4.1.0? В исследовании сравниваются опубликованные настройки, чтобы команды оценки могли выбрать и задокументировать конфигурацию среды. Оно не оценивает фактическое использование ресурсов, минимальные требования к оборудованию, стоимость, время выполнения, производительность модели или вероятность отказа.

Исследуемая совокупность включает все 66 задач официального манифеста выпуска v4.1.0, а не все похожие на задачи файлы в его репозитории. Выпуск опубликован 3 ноября 2026 года. Метаданные конфигурации изучены 17 ноября 2026 года. В [официальной карточке набора данных](https://huggingface.co/datasets/harborframework/terminal-bench) указан выпуск и приведён его [манифест](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Исходный репозиторий закреплён за коммитом `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` в `harbor-framework/terminal-bench`.

SHA-256 манифеста: `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Каждое наблюдение содержит URL источника, закреплённого за версией, и SHA-256 полного исходного файла `task.toml`. Устаревшие задачи, тестовые данные CI и шаблоны, не входящие в манифест выпуска, исключены. Задачи, контейнеры, модели и скрипты проверки не запускались.

## Извлечение

Единица анализа — одна задача из манифеста. Сборщик разбирает TOML с помощью стандартной библиотеки Python и записывает явно заданные в блоке среды верхнего уровня значения CPU, памяти, хранилища, GPU, типа GPU, TPU и ограничения времени сборки. Пропущенные поля остаются пропущенными. Ограничения времени агента и программы проверки сохраняются отдельно. Числовые значения `1200` и `1200.0` считаются эквивалентными при подсчёте итогов; в исходных наблюдениях сохраняются их типы после разбора.

Наличие блока среды программы проверки фиксируется отдельно от наличия полей ресурсов. Сборщик также отдельно сохраняет schema_version, устаревшее поле version верхнего уровня и версию задачи; он отмечает устаревшие альтернативные имена полей ресурсов, шаги и дополнительные блоки среды. В этом выпуске устаревшие альтернативные имена полей ресурсов и шаги не обнаружены. В 6 задачах явно заданы блоки среды программы проверки. Полные наблюдения сохраняют выбранные поля этих блоков; основные распределения CPU и RAM относятся только к среде задачи верхнего уровня.

Общий размер 66 исходных файлов TOML составляет 85 966 байт. Опубликованная выборка содержит отдельные сведения о конфигурации, имена полей, идентификаторы задач и хеши источников. Она не включает инструкции к задачам, решения, тесты, контактные данные авторов и значения переменных среды. Полные исходные файлы и образы бенчмарка в этом пакете не распространяются.

## Построенное сравнение

Для каждого из параметров — CPU, памяти, хранилища и количества GPU — мы выбрали наиболее частое явно заданное значение среди 66 деклараций среды верхнего уровня: 2 CPU, 4 096 MB памяти, 10 240 MB хранилища и 0 GPU. Сочетание этих значений образует наш набор настроек для сравнения. Он не является настройкой Harbor по умолчанию, рекомендацией поставщика или наблюдавшейся конфигурацией оценки.

Задача попадает в группу «выше набора настроек для сравнения», если хотя бы одно явно заданное числовое значение превышает соответствующее значение набора. Мы берём объединение идентификаторов задач, а не сумму количеств по отдельным полям. Отсутствующие значения GPU не считаются нулём и не рассматриваются как превышение. 8 задач с пропущенным количеством GPU можно определить в исходных данных. Объединение из 38 задач отражает различия в декларациях; оно не предсказывает, сможет ли задача запуститься или пройти проверку при каком-либо наборе настроек.

Мы также подсчитали различные сочетания заданных CPU, памяти, хранилища, количества GPU, типа GPU и TPU, исключив ограничения времени. Исходное число сочетаний — 27. Если принять пропущенное количество GPU за ноль, оно снижается до 22. Из-за этой чувствительности статья в первую очередь рассматривает отдельные поля ресурсов и прозрачное сравнение, а не представляет число сочетаний как число требований к оборудованию.

## Интерпретация программой запуска

Мы изучили исходный код Harbor на коммите `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, в метаданных проекта которого указана версия 0.26.0. Эти выводы основаны на чтении кода, а не на проверке всех задач или серверных сред путём запуска.

- [Парсер задач](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) допускает отсутствие значений количества CPU и GPU, а также объёма памяти и хранилища и преобразует устаревшие строковые значения памяти и хранилища. Поле версии схемы имеет строковый тип; сам по себе механизм переноса версий не подтверждает, что каждая задача может быть выполнена.
- [Базовая среда](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) применяет переопределения пробного запуска. В ней пропущенное количество GPU приводится к нулю; правила игнорирования CPU и памяти могут исключать применение этих значений. Мы сохраняем пропуски в наборе данных, даже когда эта программа запуска присваивает одному из них значение.
- [Механизм определения среды программы проверки](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) использует предоставленную среду программы проверки целиком; в противном случае он копирует среду задачи. Он не объединяет явно заданный блок программы проверки с настройками агента по отдельным полям. При [создании пробного запуска](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) переопределения среды всё равно передаются.
- [Адаптер Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) преобразует автоматические правила для CPU и памяти в ограничения и явно игнорирует выбор типа GPU. Его [модуль записи ресурсов Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) записывает ограничения CPU, памяти и количества GPU, но не предельный объём хранилища. Существующая конфигурация Compose и другие поставщики могут работать иначе.
- [Определение ограничений времени](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) и [расчёт бюджетов](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) допускают переопределения, максимальные значения и множители. Заданные ограничения времени агента, программы проверки и сборки не являются наблюдавшейся продолжительностью. Их сумма не рассматривается как предельная общая продолжительность пробного запуска.

Обзор не охватывает каждый Dockerfile, вспомогательный контейнер Compose, образ или внешний сервис. Они могут добавлять требования к ресурсам и ограничения, не отражённые в полях конфигурации верхнего уровня. Исследование не позволяет сделать выводы о валидности бенчмарка или изменениях оценок.

## Воспроизведение

Используя Python 3.11 или более позднюю версию, запустите `python3 census.py`, чтобы повторно создать `census-results.json` из предоставленного `census.json`. Запустите `python3 census.py --collect`, чтобы перед анализом заново получить фиксированный манифест и все 66 файлов TOML, закреплённых за версиями. Сборщик выполняет не более 3 одновременных чтений, ограничивает размер манифеста до 300 KB, а каждой задачи — до 100 KB и завершает работу с ошибкой, если состав манифеста или его закреплённый хеш отличаются. Он не изменяет данные у поставщика и не выполняет загруженный код.

Запустите `python3 render-assets.py`, чтобы повторно создать 2 исходных рисунка SVG. Для создания рисунков используется ReportLab; опубликованные оригиналы были отрисованы с помощью ReportLab 4.4.9 и Python 3.12.14. Рисунок с распределениями напрямую использует результаты анализа. Второй рисунок — созданная авторами схема записи конфигурации, а не эмпирические данные. Оба файла SVG сохраняют текст, доступные заголовки и описания.

Исходный бенчмарк использует [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Авторские права на исходные материалы сохраняются за их авторами. Этот пакет содержит выбранные Sapien1 фактические данные и оригинальный анализ; он не предоставляет прав на сторонние материалы задач или содержимое контейнеров.
