연구
참조 파일 기준으로 달라지는 GDPval 공개 작업 구성
벤치마크 점수는 어떤 작업이 포함될 수 있는지 알면 더 쉽게 해석할 수 있습니다. 공개 GDPval 골드 작업 테이블에서는 직업 44개마다 작업 5개로 시작합니다. 하지만 기재된 전문가 참조 파일이 필요한 비교에서는 테이블의 모든 행을 같은 방식으로 사용할 수 없습니다. 220개 행 중 35개에서 deliverable_files 목록이 비어 있습니다.
이 총계는 gbench GDPval 구현에 이미 문서화되어 있습니다. 저희는 동일한 고정 GDPval 스냅샷에서 빈 목록이 업종과 직업별로 어떻게 분포하는지 집계했습니다. 44개 직업 모두 파일이 기재된 행이 하나 이상 남아 있습니다. 하지만 남은 구성은 원래 테이블만큼 고르게 분포하지 않습니다.
전문가의 참조 파일이 목록에 있는 작업은 무엇인가요?
이 집계는 테이블에 전문가 산출물 경로가 하나 이상 기재되어 있는지만 확인합니다. 경로가 기재되어 있다고 해서 파일에 접근하거나 이를 렌더링할 수 있다는 뜻은 아닙니다. 빈 목록만으로는 이 테이블 밖 어딘가에 참조 자료가 있는지 알 수 없습니다.
| 업종 | 공개 골드 테이블의 행 | 산출물이 기재된 행 | 목록이 빈 행 |
|---|---|---|---|
| 금융 및 보험업 | 25 | 17 | 8 |
| 정부 | 25 | 22 | 3 |
| 보건 및 사회복지 서비스업 | 25 | 22 | 3 |
| 정보업 | 25 | 14 | 11 |
| 제조업 | 25 | 25 | 0 |
| 전문, 과학 및 기술 서비스업 | 25 | 24 | 1 |
| 부동산 및 임대업 | 25 | 20 | 5 |
| 소매업 | 20 | 16 | 4 |
| 도매업 | 25 | 25 | 0 |
| 합계 | 220 | 185 | 35 |
막대는 목록에 기재된 행을 나타내며, 파일 접근이나 렌더링 가능 여부를 확인한 결과가 아닙니다.
테이블에는 직업과 업종을 조합한 그룹 44개가 있으며, 각 그룹에는 작업 5개가 있습니다. 이 중 22개 그룹은 이번 선별에서 행 5개를 모두 유지하고, 나머지 22개 그룹은 2~4개를 유지합니다. 모든 직업이 여전히 포함되지만, 포함되어 있다는 사실만으로 각 직업의 작업 수가 같다는 뜻은 아닙니다.
이 업종별 차이는 전체 집계치를 읽을 때 유용합니다. 정보업과 제조업은 원래 220개 행 중 각각 25개, 즉 11.4%를 차지합니다. 목록에 파일이 기재된 185개 행만을 대상으로 작업마다 동일한 가중치를 적용한 가상의 집계에서는 정보업이 14/185인 7.6%, 제조업이 25/185인 13.5%를 차지합니다. 이는 작업의 비중이며, 모델 점수나 직업별 가치를 추정한 수치가 아닙니다.
채점 시스템이 참조 파일을 읽을 수 있나요?
185개 행을 기준으로 한 계산은 gbench의 최종 점수 분모가 아닙니다. 문서에 따르면 산출물이 기재된 작업 중 4개는 해당 산출물을 텍스트로 렌더링할 수 없어, 그 스냅샷에서 참조 자료를 렌더링할 수 있는 작업은 181개가 남습니다. 저희는 해당 파일을 직접 렌더링하거나 gbench를 실행하지 않았습니다.
이 작업 4개가 어느 업종에 속하는지 모르더라도, 이 수치는 문서에 기록된 참조 자료 렌더링 가능 집합의 범위를 파악하는 데 도움이 됩니다. 이 4개가 목록에 파일이 기재된 185개 행 중 서로 다른 행이라면, 제조업은 최소 21개 행, 정보업은 최대 14개 행이 남습니다. 작업별 가중치가 같다면 이 한계는 각각 21/181(11.6%)과 14/181(7.7%)입니다. 실제 실행에서는 생성 실패, 심사 실패, 작업별 시도 횟수도 영향을 주므로 점수 산정에 사용되는 분모가 달라질 수 있습니다. 이 수치는 OpenAI의 원래 사람 평가 결과를 설명하지 않습니다.
다른 채점 방식에는 다른 요건이 있습니다. 커밋 5d6429f에 문서화된 NeMo Gym의 루브릭 모드에서는 LLM 심사자가 작업 루브릭을 기준으로 후보 산출물을 채점합니다. 이 방식의 준비 코드는 전문가 출력의 deliverable_files 목록을 복사하지 않으며, 루브릭 검증기는 루브릭 필드가 모두 비어 있으면 missing_rubric을 보고합니다. 기재된 작업 입력 파일은 모두 준비해야 하며, 후보 출력과 심사자도 필요합니다. 준비 호출은 데이터세트 리비전을 고정하지 않습니다. 저희는 NeMo Gym을 실행하거나 적용 범위를 측정하지 않았습니다. NeMo Gym의 루브릭 점수와 gbench의 승리 또는 무승부 비율은 서로 다른 지표입니다.
심사자가 볼 수 있는 정보
참조 자료의 가용성은 비교의 한 부분일 뿐입니다. gbench 문서는 이미 220개 루브릭 중 32개가 기본 루브릭 제한인 8,000자를 초과한다고 보고합니다. 포매터는 다음 기준을 추가하면 제한을 넘을 때까지 원래 순서대로 기준을 통째로 유지한 뒤 잘림 표시를 추가합니다. 첫 번째 기준만으로 제한을 넘으면 그 기준의 일부만 표시합니다. 글자 수와 토큰 수는 다릅니다.
저희는 고정된 해당 포매터를 작업 테이블에 적용했습니다. 전문가 산출물이 기재된 185개 행 중 26개 루브릭이 기본 제한에서 잘리며, 이들 행에서 총 247개 기준이 통째로 빠집니다. 기재된 산출물을 반드시 렌더링할 수 있는 것은 아니며, 생성에 실패하거나 생성 결과가 비어 있으면 심사자를 호출하지 못할 수 있으므로 이 수치는 심사된 비교 건수가 아닙니다. 예를 들어 포매터의 제한만 12,000자 또는 16,000자로 바꾸면 이 185개 루브릭 중 잘리는 수는 각각 2개 또는 0개가 됩니다. 저희는 이 설정으로 평가기나 심사자를 실행하지 않았습니다. 누락된 기준의 수만으로는 그 중요성이나 판정이 달라질지를 알 수 없습니다. 제한을 늘리면 고정된 컨텍스트 창에서 나머지 내용을 위한 공간이 줄어들 수 있습니다. 실제 실행에서 기록된 잘림 정보를 참조 자료 및 점수 산정 건수와 함께 살펴보세요.
루브릭 선별 스크립트는 DuckDB 1.4.4로 이 집계를 재현합니다. 고정된 전체 작업 테이블을 임시로 다운로드하고 메모리에서 루브릭 텍스트를 처리하며, 출력에는 작업 ID나 루브릭 텍스트가 아닌 집계 수치만 남깁니다. 정상 실행 후에는 임시 테이블을 삭제합니다. gbench에서 검토하고 해시를 검증한 포매터만 제한된 네임스페이스에서 실행하며, 이 네임스페이스는 보안 샌드박스가 아닙니다. 아카이브에는 원본 라이선스와 고지문이 포함되어 있습니다. 아래에서 DuckDB를 설정한 후 Python 3.11로 환경을 만들고 아카이브를 다운로드해 macOS 또는 Linux에서 실행하려면 다음을 사용하세요.
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json작업에서 점수까지의 경로 기록하기
평가를 설정하거나 비교할 때는 데이터세트 리비전, 필요한 참조 자료 유형, 각 적격성 규칙을 기록하세요. 시작 테이블, 참조 자료 확인 후, 점수 산정 후의 그룹별 건수를 보고하세요. 기재된 참조 자료 없음, 참조 자료를 읽을 수 없음, 생성 실패, 사용할 수 없는 심사 판정은 사유를 구분해 기록하세요. 그렇지 않으면 하나의 전체 집계치에 어떤 작업이 더 이상 기여하지 않았는지 가려질 수 있습니다.
남은 작업과 시도에 가중치를 어떻게 적용했는지도 밝히세요. 건수가 다를 때 작업별 동일 가중치, 직업별 동일 가중치, 시도별 동일 가중치는 서로 다른 질문에 답합니다. 어느 방식도 그 자체로 누락된 근거를 보완하지는 못합니다. 적절한 집계 방식은 평가가 무엇을 측정하려는지에 따라 달라집니다.
직접 설계하는 작업 집합이라면 에이전트 평가 가이드에서 관찰 가능한 확인 항목을 정의하고 반복 시험을 해석하는 방법을 확인하세요.
입력 파일마다 정확한 버전 기록하기
작업 테이블을 고정해도 평가기가 다운로드하는 모든 파일이 반드시 고정되는 것은 아닙니다. 리비전 4bf6426의 이전 공개 GDPval 테이블에서는 작업 행 220개 중 122개에 입력 파일이 기재되어 있습니다. 기재된 입력 URL 262개는 모두 저장소의 이동하는 main 브랜치를 가리킵니다. 제공자의 메타데이터에 따르면 이 동일한 경로 중 62개는 리비전 11e7900에 이르러 크기와 blob ID가 달라졌으며, 이 62개 경로는 이전 테이블의 20개 행에 나타납니다. 이는 작업 입력으로, 위에서 집계한 deliverable_files의 전문가 참조 출력과는 다릅니다.
이 사실만으로 특정 평가가 변경된 입력을 사용했는지, 파일이 손상됐는지, 점수가 달라졌는지는 알 수 없습니다. 다만 저장된 테이블의 이동하는 URL을 나중에 따라가면 다른 버전의 입력이 선택될 수 있음을 보여줍니다. 저희는 입력 파일의 내용을 분석하지 않았습니다.
Inspect Evals 커밋 5c092d5에서 GDPval 로더는 작업 테이블을 리비전 a3848a2로 고정합니다. 이 테이블은 위의 이전 테이블과 바이트 단위로 동일하며 제공자의 입력 파일 메타데이터도 일치합니다. 로더는 짝을 이룬 테이블 URL을 샘플 파일 매핑으로 연결하며, Inspect 문서에 따르면 이 매핑에는 URL을 사용할 수 있습니다. 따라서 이 소스 경로는 고정된 테이블과 함께 이동하는 URL을 전달할 수 있습니다. 저희는 Inspect의 파일 다운로드나 캐싱을 시험하지 않았으며, 실제 실행에서 무엇을 사용했는지도 확인하지 않았습니다.
평가기에서는 대신 테이블과 동일한 불변 리비전에서 데이터세트 상대 경로를 확인할 수 있습니다. 여기서 살펴본 gbench 구현은 첨부 파일을 가져올 때 고정된 리비전을 명시적으로 제공합니다. 리비전을 기록하고 실용적인 경우 실제로 사용한 파일을 확인하세요. Hugging Face 다운로드 문서에서는 일관된 다운로드를 위해 이동하는 리비전을 커밋으로 확인하는 방법을 설명합니다.
입력 URL 분석 스크립트는 DuckDB 1.4.4를 사용해 이 집계를 재현합니다. 이전 작업 테이블을 임시로 다운로드하고 정상 실행 후 삭제하며, 출력에는 작업 텍스트, 개별 ID, 입력 경로 또는 입력 내용을 남기지 않습니다. 선택적 플래그는 경로 하나의 응답 헤더와 현재 main 리비전을 확인하며, 그 결과는 main이 이동함에 따라 달라질 수 있습니다. 이 확인을 위해 스크립트는 리디렉션을 거치는 경우를 포함해 HEAD 요청만 보내며, 사용할 수 없는 결과는 확인하지 않습니다. Python 표준 라이브러리로 수행하는 확인은 Inspect에 고정된 테이블과 메타데이터를 비교하고 고정된 로더 소스를 실행하지 않고 살펴봅니다. 테이블 해시 확인은 전체 테이블을 메모리로 읽지만 작업 내용을 파싱하거나 보존하지 않습니다. 스크립트는 입력 파일 본문을 요청하지 않습니다.
아래에서 DuckDB를 설정한 후 macOS 또는 Linux에서 다음 명령으로 확인을 실행하세요.
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py집계 방법
참조 자료 가용성 전수 조사를 위해 GDPval 리비전 11e7900cdcac61bc4daf59e65feb238acda98fbf의 train Parquet 테이블을 살펴보고, 서로 다른 작업 ID 220개를 확인한 뒤 업종, 직업, 각 deliverable_files 목록의 길이만으로 그룹화했습니다. 분석 스크립트는 소스 해시를 확인하고 DuckDB 1.4.4로 집계를 재현합니다. 전체 테이블을 임시로 다운로드하고 정상 실행 후 삭제하며, 출력에는 프롬프트, 루브릭, 개별 작업 ID, 산출물 경로 또는 산출물을 남기지 않습니다. 모델, 벤치마크 또는 참조 자료 렌더러는 실행하지 않았습니다.
macOS 또는 Linux에서 Python 3.9 이상으로 로컬에서 재현하려면 python3이 해당 버전을 선택하는지 확인하세요.
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1은 이 스크립트를 다운로드해 로컬에서 실행할 수 있도록 제공하며, 수정이나 재배포에 관한 추가 라이선스는 명시하지 않습니다. 원본 데이터세트의 이용 조건은 별도입니다.
OpenAI는 작업 220개로 구성된 골드 하위 집합을 오픈 소스로 공개했다고 설명합니다. 고정된 데이터세트 카드에는 벤치마크 카나리가 포함되어 있고 라이선스 필드는 없습니다. 카드의 표기나 이 집계에서 이용 조건을 추론하지 말고, 자신의 사용에 적용되는 조건을 확인하세요. 업종 및 직업 명칭과 벤치마크의 출처는 원본에 있습니다.