# 두 벤치마크 점수를 비교할 수 있을까?

먼저 점수로 어떤 결정을 내릴지 정하세요. 과거 결과를 인용하려면 정확히 어느 공개 표의 값인지 확인하세요. 두 에이전트 중 하나를 고르려면 같은 규칙으로 같은 사례를 처리했는지 확인한 뒤, 그 사례의 결과를 바탕으로 비교하세요. 공개 사례 네 가지를 통해 왜 이런 확인이 필요한지 살펴봅니다.

## 인용한 값이 나온 표 찾기

LiveBench는 서로 다른 두 원본 표에 같은 리더보드 라벨 `2025-05-30`을 사용했습니다. 특정 리비전에 고정된 두 표에는 같은 모델 라벨이 30개 있습니다. 그중 28개에서는 별도 범주인 Coding의 두 점수 중 적어도 하나가 이후 표에서 더 높습니다. 관리자는 평가 하네스와 단계 제한을 바꿔 Agentic Coding을 다시 실행했다고 설명합니다. 원본 표만으로는 별도 Coding 점수가 바뀐 이유를 알 수 없습니다. 인용한 숫자와 함께 표의 리비전이나 파일 해시를 보관하고, 벤치마크의 날짜 라벨은 별도 항목에 기록하세요. [이전 LiveBench 표](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [이후 LiveBench 표](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [관리자의 변경 기록](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## 성공률을 비교하기 전에 사례 맞추기

리소스 한도 두 가지를 예로 들면, 각각 Terminal-Bench v4.1.0의 과제 66개 중 44개를 선택합니다. 두 선택에 모두 들어가는 과제 ID는 36개뿐입니다. 한도는 CPU 4개, 메모리 8,192 MB, 저장공간 10,240 MB 또는 CPU 2개, 메모리 16,384 MB, 저장공간 20,480 MB입니다. 리소스 필터는 과제 환경과 검증 환경에 선언된 값에 각각의 한도를 적용합니다. 아래 결과는 가상의 예입니다. [Terminal-Bench 리소스 설정과 필터](https://sapien1.com/ko/research/terminal-bench-resource-settings)

에이전트 A가 첫 번째 선택에서 32개 사례를 풀고, B가 두 번째 선택에서 34개를 풀었다고 가정합시다. 각 선택에는 공통 집합에 속하지 않는 사례가 8개씩 있습니다. 따라서 공통 사례 36개 중 A가 푼 수는 24~32개, B가 푼 수는 26~34개일 수 있습니다. 공통 사례에서 A가 32개, B가 26개를 풀었다면 A가 6개 앞섭니다. A가 24개, B가 34개를 풀었다면 B가 10개 앞섭니다. 두 경우 모두 보고된 총계와 맞습니다.

| 가상의 결과 | 각자 선택된 44개 사례 중 해결한 수 | 공통 사례 36개 중 해결했을 수 있는 수 |
| --- | ---: | ---: |
| 에이전트 A | 32 | 24–32 |
| 에이전트 B | 34 | 26–34 |

이 예에서는 총계만으로 공통 사례의 순위를 결정할 수 없습니다. 사례별 결과를 요청하거나 두 에이전트를 동일한 검증된 사례 목록으로 평가하세요. 실행마다 리소스 예산이 달랐다면, 그 결과를 서로 다른 구성의 비교로 설명하세요. 에이전트 변경의 영향만 보려면 예산과 다른 실행 조건을 고정하세요. 순위를 정하기 전에 공통 분모를 정하고, 누락되거나 실패했거나 채점되지 않은 실행을 어떻게 셀지 결정하세요. 이렇게 계산한 평가 대상의 포함 범위를 보고하세요.

## 채점기가 같은 입력을 사용했는지 확인하기

SWE-bench Verified의 2026년 2월과 8월 테스트 스냅샷에는 같은 사례 ID 500개가 들어 있습니다. 8월의 두 커밋은 Astropy 사례 하나에서 기대한 회귀 테스트 항목 1개, Django 사례 하나에서 5개를 각각 삭제했습니다. 리비전으로 저장된 목록에서 무엇이 달라졌는지 확인할 수 있습니다. 점수에 미치는 영향을 측정하려면 다른 설정을 고정한 채 같은 후보 패치를 두 리비전으로 각각 평가하세요. 에이전트를 비교할 때는 데이터셋 리비전, 채점기, 실행 환경, 평가 옵션을 동일하게 맞추세요. [2월 테스트 스냅샷](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [8월 테스트 스냅샷](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [첫 번째 SWE-bench 변경](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [두 번째 SWE-bench 변경](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [채점기 소스](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## 사례별 결과 파일을 사용하기 전에 검증하기

Every Eval Ever는 샘플별 결과를 찾을 수 있도록 집계 레코드와 컬렉션 인덱스를 제공합니다. 데이터 저장소의 한 고정 리비전에서 두 출처는 관련 샘플 파일에 서로 다른 SHA-256 값을 기록합니다. 해당하는 항목은 `MMLU-Pro` 인덱스의 14개 전부와 `gsm8k` 인덱스의 11개 전부입니다. 각 컬렉션에서 목록의 첫 번째 샘플 파일을 내려받았을 때 해시는 인덱스 값과 일치했습니다. 집계 레코드의 체크섬은 달랐습니다. 이 확인으로 파일 수준의 불일치를 찾았습니다. 점수가 정확한지, 불일치가 왜 생겼는지는 평가하지 않았습니다. [MMLU-Pro 인덱스](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K 인덱스](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [GSM8K 집계 레코드 예시](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

변하지 않는 파일 위치와 검증한 해시를 비교에 쓰는 짝지은 결과와 함께 보관하세요. 발행자가 공개한 값이 서로 다르면, 해당 파일을 점수의 근거로 사용하기 전에 차이를 해결하세요.

## 비교에 사용한 정보 기록하기

| 항목 | 보관할 내용 |
| --- | --- |
| 공개된 결과 | 출처 URL, 벤치마크 라벨, 표의 리비전 또는 해시, 지표와 단위 |
| 사례와 시험 | 데이터셋 리비전과 분할, 정확한 사례 및 시험 ID, 채점 분모와 제외 규칙 |
| 실행 조건 | 에이전트와 모델 리비전, 도구, 채점기와 설정, 예산, 환경 ID 및 확인 가능한 경우 이미지 해시 |
| 근거 | 사례별 출력 또는 결과, 변경되지 않는 파일 위치와 검증된 해시 |

성능 결론은 기록이 뒷받침하는 범위로 제한하세요. 과거 결과를 인용한다면 정확한 출처를 밝히세요. 에이전트를 비교한다면 명시된 조건에서 짝지은 사례별 결과와 평가 대상의 포함 범위를 보고하세요.
