본문으로 바로가기

메뉴

연구

Terminal-Bench 작업 66개의 리소스 설정

언어: 한국어

Terminal-Bench v4.1.0의 작업 66개에는 서로 다른 리소스 설정이 선언되어 있습니다. 구성 파일을 전수 조사한 결과 메모리를 4,096 MB보다 크게 지정한 작업은 31개, CPU를 2개보다 많이 지정한 작업은 22개였습니다. CPU, 메모리, 저장 공간, GPU 항목에서 가장 흔한 명시값을 조합해 비교 구성을 만들었습니다. 38개 작업은 선언값이 적어도 한 항목에서 이 구성의 값을 초과합니다. 이 차이를 통해 격리된 평가 환경을 구성할 때 유지하거나 기록할 설정을 파악할 수 있습니다. 리소스 사용량이나 작업 실패 여부를 예측할 수 있는 것은 아닙니다.

같은 벤치마크를 새 환경에서 실행하면 어떤 조건이 유지될까요? 작업과 실행기의 버전, 선언값을 덮어쓰는 옵션, 실행 백엔드의 정책에 따라 달라집니다.

릴리스에는 다양한 리소스 규모의 작업이 포함됩니다

2026년 11월 3일 공개된 Terminal-Bench v4.1.0 공식 매니페스트의 모든 작업을 확인했습니다. 조사 대상은 이 릴리스의 작업 66개입니다. 각 작업의 task.toml 파일은 고정된 소스 리비전에서 확인했습니다. 저장소에 있는 이전 작업과 테스트용 보조 파일은 조사 범위에 포함하지 않았습니다. 공식 릴리스와 매니페스트

기본 작업 환경에 선언된 CPU는 216개, 메모리는 4,09632,768 MB입니다. CPU는 2개가 가장 흔한 값으로 44개 작업에 나타납니다. 메모리는 4,096 MB가 가장 흔하며 35개 작업에 나타납니다. 나머지 작업은 더 큰 값을 지정합니다.

66개 작업에서 CPU와 메모리 값을 명시한 횟수. CPU 2개를 지정한 작업이 44개, 4개는 14개, 8개는 6개, 16개는 2개입니다. 메모리 4,096 MB를 지정한 작업은 35개, 8,192 MB는 22개, 16,384 MB는 8개, 32,768 MB는 1개입니다.
그림을 원래 크기로 보기

그림의 두 패널은 동일한 66개 작업 환경을 다룹니다. 값은 릴리스의 구성 파일에서 가져왔습니다. 전체 관측 데이터에는 작업별로 고정된 리비전의 URL과 소스 파일의 해시가 있습니다.

이 차이는 인프라를 표준화할 때 중요합니다. 통일된 환경은 일정 관리를 단순화할 수 있지만, 실행기가 작업별 설정을 적용하지 않으면 선언된 조건 일부가 바뀝니다. 사용 가능한 하드웨어가 많아도 더 낮게 선언된 상한이 자동으로 유지되지는 않습니다. 비교에는 실행기와 백엔드가 실제로 어떤 제한을 적용하는지 확인하는 일이 필요합니다.

흔한 값을 조합하면 여러 항목의 선언값과 달라집니다

비교를 위해 네 항목에서 가장 자주 명시된 값을 하나씩 골라 비교 구성으로 묶었습니다.

항목비교 구성의 값
CPU 수2
메모리4,096 MB
저장 공간10,240 MB
GPU 수0

이 구성은 분석을 위해 만들었습니다. Harbor의 기본 설정, 공급업체 권장값 또는 관측된 배포 설정을 뜻하지 않습니다. 각 값은 개별적으로 흔합니다. 전체 조합이 나타나는 빈도는 다를 수 있습니다.

각 작업에서 명시된 값이 대응하는 비교값을 하나라도 초과하는지 확인했습니다. 결과는 66개 중 38개 작업이었습니다. 항목별로는 CPU 22개, 메모리 31개, 저장 공간 17개, GPU 수 3개입니다. 항목별 집합이 겹치므로 숫자를 더하면 일부 작업이 중복 계산됩니다. 비교 결과에는 해당 작업 전체와 항목별 작업의 정확한 ID가 있습니다.

나머지 28개에서는 기록된 값이 네 항목의 비교값을 초과하지 않았습니다. 이 사실로 해당 작업과 비교 구성의 호환성을 판단할 수는 없습니다. 8개 작업에는 GPU 수가 명시되어 있지 않습니다. 조사에서는 이를 0으로 바꾸지 않고 누락 상태로 유지했습니다. 파일, 보조 컨테이너, 이미지, 서비스가 네 항목에 없는 요구사항을 추가할 수도 있습니다.

GPU 없이 실행할 수 있도록 관리자는 Terminal-Bench 4.1.0에서 CPU 전용 작업 63개로 구성된 별도 데이터세트를 제공합니다. harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0로 실행하고 결과는 전체 릴리스 66개의 점수와 구분하여 보고하세요. 이 데이터세트에 포함되었다는 사실만으로 특정 CPU, 메모리 또는 저장 공간 제한을 충족한다고 판단할 수 없습니다.

실행 전 예외 목록을 확인하면 표준화된 환경에서 어떤 설정이 달라지는지 파악할 수 있습니다.

실행기와 백엔드가 선언값을 해석합니다

작업 파일은 평가 설정의 일부를 설명합니다. 선언값이 어떻게 사용되는지 알아보기 위해 패키지 메타데이터가 0.26.0 버전이라고 명시하는 고정 리비전의 Harbor 소스를 검토했습니다.

검토한 코드에서는 개별 시도의 옵션이 작업의 리소스 값을 덮어쓸 수 있습니다. CPU와 메모리 정책은 값을 적용할지 무시할지도 결정할 수 있습니다. 파서는 CPU, 메모리, 저장 공간 값이 생략되면 미설정 상태로 둡니다. 기본 환경은 GPU 수가 생략되면 유효 값을 0으로 처리합니다. 조사에서는 생략 상태를 보존해 작업에 작성된 설정과 실행기의 해석을 구분할 수 있게 했습니다. 검토한 Harbor 리비전의 환경 처리 로직

결과는 백엔드의 동작에도 영향을 받습니다. 검토한 Docker 어댑터는 자동 CPU 및 메모리 정책을 상한으로 변환합니다. GPU 유형 선택은 명시적으로 무시하며, Compose 리소스를 기록하는 코드는 저장 공간 상한을 기록하지 않습니다. 작업 세 개가 H100을 명시하지만 이 필드만으로 Docker가 H100을 할당하는지 알 수 없습니다. 마찬가지로 storage_mb 값만으로 Docker의 디스크 상한을 확정할 수 없습니다. 기존 Compose 구성이 제약을 추가할 수 있고 다른 백엔드의 동작은 다를 수 있습니다. Docker 어댑터 · Compose 리소스 기록 코드

평가를 재현하려면 선언값을 보존하고 선택한 백엔드가 이를 어떻게 처리했는지 기록하세요. 요청한 설정과 실제 할당은 서로 다른 질문에 답하는 정보입니다.

평가에서 기록할 네 가지. 고정된 리비전의 작업 선언, 실행기 버전과 덮어쓰기 옵션, 백엔드의 리소스 정책, 관측할 수 있을 때의 실제 할당.
그림을 원래 크기로 보기

요청한 설정과 관측한 할당은 별도 항목에 기록하세요.

에이전트 제한 시간과 검증기 설정을 별도로 기록하세요

작업 파일 66개 모두 에이전트 제한 시간으로 28,800초, 즉 8시간을 명시합니다. 설정된 상한입니다. 검증 제한 시간은 6018,000초이며 환경 준비 단계의 제한 시간은 30018,000초입니다. 작업에 걸리는 시간을 추정할 때 각 단계를 구분하세요.

검토한 실행기는 제한 시간을 덮어쓰거나 최댓값과 배수를 적용할 수 있습니다. 확인한 함수는 배수보다 최댓값을 먼저 적용합니다. 이 분석은 단계별 상한을 합해 전체 경과 시간을 예측하지 않습니다. 검토한 리비전의 제한 시간 결정 로직 · 단계별 시간 예산 계산

확인한 Harbor 버전의 규칙에 따라 Terminal-Bench v4.1.0의 전체 66개 작업에서 검증 제한 시간을 계산했습니다. 최댓값을 600초로 설정하는 경우와 제한 시간을 600초로 덮어쓰는 경우를 따로 확인했습니다. 배수는 두 경우 모두 1이었습니다. 두 설정에서 계산한 가장 긴 제한 시간은 모두 600초였습니다. 최댓값을 쓰면 원래 더 짧았던 제한 시간 28개가 그대로 유지됐습니다. 덮어쓰면 이 28개가 모두 600초로 늘어났습니다. 이 설정에서 더 짧은 제한 시간을 유지하려면 최댓값을 사용하고 어떤 설정을 썼는지 기록하세요. Harbor가 처음 제한 시간을 정하는 방법 · Harbor가 최댓값과 배수를 적용하는 방법

에이전트를 로컬에서 실행하면 에이전트의 제한 시간에 도달하기 전에 상위 작업의 시간 제한으로 실행이 중단될 수 있습니다. 예를 들어 작업에서 에이전트에 8시간이 주어져도, 제한 시간이 6시간인 GitHub 호스팅 작업 안에서는 8시간을 모두 쓸 수 없습니다. 같은 작업 안에서 준비에 걸리는 시간도 사용 가능한 시간을 줄입니다. 상위 작업의 제한 시간과 에이전트의 제한 시간을 별도로 기록하세요.

모든 작업이 분리 검증을 명시적으로 선택합니다. 그중 6개는 검증기 환경 블록을 제공합니다. 검토한 Harbor 함수는 명시된 블록을 통째로 선택하고 해당 필드를 작업 환경과 하나씩 병합하지 않습니다. 별도 블록이 없으면 작업 환경을 복사합니다. 시도별 옵션은 검증기가 실제로 사용하는 구성을 바꿀 수 있습니다. 검증기 환경 선택 로직

설정이 일치하더라도 에이전트와 검증기의 설정을 별도로 기록하세요. 분리 검증이라는 설정만으로 실제 할당량이나 두 환경의 동시 리소스 사용 여부를 알 수 없습니다.

이름과 경로가 일치하는 66개 작업에 대해 Terminal-Bench 4.0과 4.1의 CPU, 메모리, 저장 공간, GPU, 제한 시간, 검증 모드 선언을 비교했습니다. 비교에서 해당 필드에 변화가 있었던 것은 두 작업입니다. distributed-dedup의 검증기 제한 시간은 1,800초에서 3,900초로 늘었습니다. payments-pipeline-fix의 검증기 명시값은 CPU 6개와 12,288 MB에서 CPU 8개와 16,384 MB로 늘었습니다. 모두 선언값입니다. 4.1 릴리스 노트는 66개 작업이 모두 변경되었다고 설명합니다. 이 비교만으로 지침, 이미지 또는 검증기가 동등한지 판단할 수 없습니다.

compare-versions.py와 census.json을 같은 폴더에 다운로드하세요. Python 3.11 이상과 인터넷 연결이 있는 환경에서 해당 폴더의 python3 compare-versions.py > comparison.json을 실행하세요. 스크립트는 4.0의 고정 레지스트리 리비전과 작업 메타데이터를 가져오며 작업 자체는 실행하지 않습니다. 로컬 보고서에는 출처와 벤치마크 데이터를 학습 코퍼스에서 제외해 달라는 프로젝트의 요청이 담깁니다.

평가 구성을 바꿀 때 남길 정보

조사 내용을 바탕으로 간단한 구성 기록을 만들 수 있습니다.

  1. 작업 집합을 고정하세요. 릴리스 매니페스트, 소스 리비전, 작업 경로를 함께 보관하세요. 저장소 전체 파일 수에는 릴리스 범위 밖의 항목이 포함될 수 있습니다.
  2. 원래 선언값을 보존하세요. 명시값과 생략된 항목을 기록하세요. 별도 검증기 설정과 단계별 제한 시간도 포함하세요.
  3. 실행기와 옵션을 기록하세요. 정확한 버전 또는 리비전과 작업 설정을 교체하거나 배수를 적용하는 옵션을 저장하세요.
  4. 백엔드 정책을 확인하세요. 어떤 필드가 제한, 예약, 기본값으로 적용되는지, 어떤 요청이 지원되지 않는지 확인하세요.
  5. 관측할 수 있다면 실제 할당을 기록하세요. 요청한 설정이나 실행 중에 측정한 소비량과 구분해 남기세요.

제한이나 할당을 의도적으로 바꿨다면 결과와 함께 변경 사항을 기록하세요. 이후 결과를 읽는 사람이 평가 조건을 확인하고 환경 차이를 고려하도록 돕습니다.

구성 비교와 분석 코드를 이용해 예외를 확인할 수 있습니다. sapien1은 에이전트 평가 프로젝트의 범위를 정할 때 이와 같은 방식으로 작업과 환경을 확인합니다.

다른 상한을 비교하려면 리소스 필터와 조사 데이터를 같은 폴더에 다운로드하세요. 예를 들어 python3 filter-census.py --cpus 4 --memory-mb 8192 --status within은 작업과 검증기 환경 모두에서 선언값이 해당 제한 안에 드는 작업을 나열합니다. 출력에는 생략된 항목이 남아 있으며 작업 실행 가능 여부를 확인하는 기능은 없습니다. Terminal-Bench는 벤치마크 데이터를 학습 코퍼스에 포함하지 말 것을 요청합니다.

리소스 상한별로 선택되는 작업 비교하기

두 가지 리소스 상한 예시에서 각각 Terminal-Bench v4.1.0의 작업 66개 중 44개가 선택됩니다. 두 목록의 공통 작업은 36개이고, 각 목록에만 있는 작업은 8개입니다. 필터는 상한마다 CPU, 메모리, 스토리지의 선언값을 작업 환경과 검증 환경에서 따로 확인합니다.

CPU 개수메모리(MB)스토리지(MB)상한 3개를 모두 충족하는 작업 수
48,19210,24044
216,38420,48044

필터와 전수 조사 파일이 있는 폴더에서 두 명령을 실행하세요. 각 보고서의 records에 있는 task 필드에서 선택된 작업의 ID를 확인할 수 있습니다.

python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json

점수를 보고할 때는 정확한 작업 ID를 벤치마크 버전과 리소스 설정과 함께 저장하세요. 두 실행의 공통 작업을 기준으로 비교한다면 같은 목록에서 두 점수를 모두 계산하세요.

방법 및 범위

2026년 11월 17일에 한 릴리스의 구성 선언을 전수 조사했습니다. 조사 범위는 선언값이며 성능을 측정하지 않았습니다. Terminal-Bench 데이터의 소스 리비전은 4070d6c입니다. Harbor는 프로젝트 메타데이터에 버전 0.26.0으로 표시된 ec6aeab을 검토했습니다. 방법에는 전체 해시, 소스 링크, 추출 규칙 및 조사 재현 명령이 있습니다.

수집 스크립트는 공식 매니페스트와 TOML 파일 66개를 읽습니다. 소스 바이트 수는 총 85,966입니다. 버전 필드를 따로 보존하고 이전 리소스 별칭, 단계, 추가 환경 블록을 확인했습니다. 이 릴리스에서 단계와 이전 리소스 별칭은 발견하지 못했습니다. 공개 다운로드에는 선별된 구성 정보와 소스 해시가 들어 있습니다. 작업 지침, 해답, 완전한 환경은 포함하지 않았습니다.

매니페스트에 포함된 작업, 계산 결과, 소스 예제를 독립적으로 확인했습니다. 소스 예제에는 이상값, 생략된 GPU 필드, 명시된 검증기 블록이 포함되어 있습니다. 모델, 컨테이너, 벤치마크 작업은 실행하지 않았습니다.