# Terminal-Bench 리소스 설정 전수 조사

작성일: 2026-11-17
수정일: 2026-11-17

## 질문과 조사 대상

Terminal-Bench v4.1.0에서 단일 샌드박스 사전 설정을 적용하면 작업별 선언값 중 어떤 값이 달라질까요? 이 연구는 평가팀이 환경 구성을 선택하고 기록할 수 있도록 공개된 설정을 비교합니다. 실제 리소스 사용량, 최소 하드웨어, 가격, 완료 시간, 모델 성능 또는 실패 확률은 추정하지 않습니다.

조사 대상은 저장소에 있는 모든 작업 형태의 파일이 아니라 공식 v4.1.0 릴리스 매니페스트에 포함된 66개 항목 전체입니다. 릴리스는 2026년 11월 3일에 공개되었습니다. 구성 메타데이터는 2026년 11월 17일에 확인했습니다. [공식 데이터셋 카드](https://huggingface.co/datasets/harborframework/terminal-bench)에서 릴리스와 해당 [매니페스트](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json)를 확인할 수 있습니다. 소스 저장소는 `harbor-framework/terminal-bench`의 커밋 `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440`로 고정했습니다.

매니페스트의 SHA-256은 `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`입니다. 각 관찰에는 고정된 소스 URL과 전체 소스 `task.toml`의 SHA-256이 포함됩니다. 릴리스 매니페스트에 없는 레거시 작업, CI 픽스처와 템플릿은 제외했습니다. 작업, 컨테이너, 모델 또는 검증 스크립트는 실행하지 않았습니다.

## 추출

분석 단위는 매니페스트의 작업 1개입니다. 수집기는 Python 표준 라이브러리로 TOML을 파싱하고 최상위 환경에 명시된 CPU, 메모리, 스토리지, GPU, GPU 유형, TPU와 빌드 제한 시간 값을 기록합니다. 생략된 필드는 생략된 상태로 보존합니다. 에이전트와 검증기의 제한 시간 값은 별도로 유지합니다. 숫자 `1200`과 `1200.0`은 요약 집계에서 같은 값으로 취급하며, 원본 관찰 자료에는 파싱된 유형을 보존합니다.

검증기 환경 블록의 존재 여부와 리소스 필드의 존재 여부는 별도로 기록합니다. 수집기는 schema_version, 레거시 최상위 version과 작업 version도 각각 유지하고, 레거시 리소스 별칭, 단계 및 추가 환경 블록을 표시합니다. 이 릴리스에서는 레거시 리소스 별칭이나 단계가 발견되지 않았습니다. 작업 6개에는 검증기 환경 블록이 명시되어 있습니다. 전체 관찰 자료에는 이 블록에서 선택한 필드가 보존되어 있으며, 주요 CPU/RAM 분포는 작업의 최상위 환경만 다룹니다.

소스 TOML 파일 66개의 총 크기는 85,966바이트입니다. 공개된 추출 자료에는 선택한 구성 정보, 필드 이름, 작업 식별자와 소스 해시가 담겨 있습니다. 작업 지침, 솔루션, 테스트, 작성자 연락처와 환경 변수 값은 제외했습니다. 전체 소스 파일과 벤치마크 이미지는 이 패키지에 재배포하지 않습니다.

## 구성한 비교 기준

최상위 환경 선언 66개에서 CPU, 메모리, 스토리지와 GPU 수 각각에 대해 명시된 값 중 가장 자주 나타난 값을 선택했습니다. 값은 CPU 2개, 메모리 4,096 MB, 스토리지 10,240 MB, GPU 0개입니다. 이 값들을 조합해 비교용 사전 설정을 만들었습니다. 이는 Harbor 기본값, 공급업체 권장값 또는 관찰된 평가 구성이 아닙니다.

명시된 숫자 값 중 하나라도 해당 비교용 사전 설정 값보다 크면 그 작업을 ‘비교용 사전 설정을 초과하는 작업’에 포함합니다. 필드별 작업 수를 합산하지 않고 작업 식별자의 합집합을 구합니다. 누락된 GPU 값은 0으로 계산하지 않으며 초과 항목으로도 처리하지 않습니다. GPU 수가 생략된 작업 8개는 원본 데이터에서 식별할 수 있습니다. 작업 38개로 구성된 합집합은 선언값의 차이를 나타내며, 어떤 사전 설정에서 작업을 실행하거나 통과할 수 있는지는 예측하지 않습니다.

제한 시간을 제외하고 CPU, 메모리, 스토리지, GPU 수, GPU 유형과 TPU에 걸친 서로 다른 선언 패턴도 집계했습니다. 원래 패턴 수는 27개입니다. 생략된 GPU 수를 0으로 설정하면 22개로 줄어듭니다. 이처럼 결과가 달라지므로 글에서는 패턴 수를 필요한 하드웨어 유형의 수로 제시하는 대신 개별 리소스 필드와 투명한 비교를 먼저 다룹니다.

## 실행기의 해석

프로젝트 메타데이터에 버전 0.26.0으로 명시된 Harbor 커밋 `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`의 소스를 검토했습니다. 이는 코드를 읽어 얻은 결과이며 모든 작업이나 백엔드를 실행해 검증한 결과는 아닙니다.

- [작업 파서](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435)는 CPU, 메모리, 스토리지와 GPU 수에 null을 허용하고 레거시 메모리/스토리지 문자열을 마이그레이션합니다. 스키마 버전 필드는 문자열이며, 버전 마이그레이션 경로 자체가 모든 작업을 실행할 수 있음을 입증하지는 않습니다.
- [기본 환경](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)은 시행별 재정의 값을 적용합니다. 여기서는 생략된 GPU 수를 0으로 처리하며, CPU/메모리 무시 정책에 따라 해당 값이 적용되지 않을 수 있습니다. 이 실행기가 생략된 값을 특정 값으로 처리하더라도 데이터셋에는 생략 상태를 유지합니다.
- [검증기 환경 결정 로직](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)은 제공된 검증기 환경을 전체로 사용하고, 제공되지 않으면 작업 환경을 복사합니다. 명시된 검증기 블록을 에이전트 설정과 필드별로 병합하지 않습니다. [시행 생성 과정](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104)에서는 환경 재정의 값을 계속 전달합니다.
- [Docker 어댑터](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568)는 자동 CPU/메모리 정책을 제한값에 반영하고 GPU 유형 선택은 명시적으로 무시합니다. 해당 [Compose 리소스 작성기](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)는 CPU, 메모리와 GPU 수 제약을 기록하지만 스토리지 상한은 기록하지 않습니다. 기존 Compose 구성과 다른 제공업체는 다르게 작동할 수 있습니다.
- [제한 시간 결정](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695)과 [예산 계산](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)에서는 재정의, 최댓값과 배수를 허용합니다. 에이전트, 검증기와 빌드의 제한 시간 선언값은 관찰된 소요 시간이 아닙니다. 이 값의 합을 전체 시행 시간의 상한으로 단정하지 않습니다.

이 전수 조사는 모든 Dockerfile, Compose 사이드카, 이미지 또는 외부 서비스를 확인하지 않습니다. 이들로 인해 최상위 구성 필드에 없는 리소스 요구 사항과 제약이 추가될 수 있습니다. 이 연구만으로 벤치마크의 타당성이나 점수 변화에 관한 결론을 내릴 수는 없습니다.

## 재현

Python 3.11 이상에서 `python3 census.py`를 실행하면 제공된 `census.json`로부터 `census-results.json`을 다시 생성합니다. 분석 전에 고정된 매니페스트와 고정된 TOML 파일 66개를 모두 다시 가져오려면 `python3 census.py --collect`를 실행하세요. 수집기는 동시에 최대 3개를 읽고, 매니페스트는 300 KB, 각 작업은 100 KB로 크기를 제한하며, 매니페스트 구성 항목이나 고정된 매니페스트 해시가 다르면 실패합니다. 제공업체 측 데이터를 변경하거나 다운로드한 코드를 실행하지 않습니다.

원본 SVG 그림 2개를 다시 생성하려면 `python3 render-assets.py`를 실행하세요. 그림 생성에는 ReportLab을 사용하며 공개된 원본은 ReportLab 4.4.9와 Python 3.12.14로 렌더링했습니다. 분포 그림은 분석 결과를 직접 읽습니다. 두 번째 그림은 구성 레코드를 작성자가 도식화한 것으로 실측 데이터가 아닙니다. 두 SVG 모두 텍스트, 접근 가능한 제목과 설명을 유지합니다.

원본 벤치마크에는 [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE)이 적용됩니다. 소스 저작권은 각 작성자에게 있습니다. 이 패키지는 Sapien1이 선택해 추출한 사실 정보와 독자적인 분석이며, 서드파티 작업 자산이나 컨테이너 콘텐츠에 대한 권리를 부여하지 않습니다.
