# Отбор по файлам эталонных результатов меняет состав публичных задач GDPval

Результат бенчмарка проще интерпретировать, если знать, какие задачи могли в него войти. В публичной таблице gold задач GDPval для каждой из 44 профессий изначально указано по пять задач. Но при сравнении, для которого требуется указанный файл эталонного результата эксперта, не все строки таблицы можно использовать одинаково: в 35 из 220 строк список `deliverable_files` пуст.

Это общее число уже приведено в [реализации GDPval в gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md). Мы подсчитали, как пустые списки распределяются по отраслям и профессиям в том же [зафиксированном снимке GDPval](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf). Для всех 44 профессий по-прежнему есть хотя бы одна строка с указанным файлом. Но оставшиеся задачи распределены не так равномерно, как в исходной таблице.

## Для каких заданий в списке указан файл с работой эксперта?

Эти подсчёты показывают только то, указан ли в таблице хотя бы один путь к файлу результата эксперта. Указанный путь не доказывает, что файл доступен или что его можно отобразить. Пустой список не позволяет установить, существует ли эталонный результат где-либо за пределами этой таблицы.

| Отрасль | Строки в публичной таблице gold задач | С указанным файлом результата | С пустым списком |
| --- | ---: | ---: | ---: |
| Финансы и страхование | 25 | 17 | 8 |
| Государственное управление | 25 | 22 | 3 |
| Здравоохранение и социальная помощь | 25 | 22 | 3 |
| Информация | 25 | 14 | 11 |
| Обрабатывающая промышленность | 25 | 25 | 0 |
| Профессиональные, научные и технические услуги | 25 | 24 | 1 |
| Недвижимость, аренда и лизинг | 25 | 20 | 5 |
| Розничная торговля | 20 | 16 | 4 |
| Оптовая торговля | 25 | 25 | 0 |
| **Всего** | **220** | **185** | **35** |

![Строки с указанным эталонным результатом эксперта по отраслям](https://sapien1.com/research/gdpval-reference-coverage/figures/ru/sector-coverage.svg)

Столбцы показывают наличие файла в списке; его доступность и возможность отображения не проверены.

Таблица содержит 44 группы по профессии и отрасли, в каждой из которых по пять задач. Из них 22 сохраняют все пять строк на этом этапе отбора, а в остальных 22 остаётся от двух до четырёх. Все профессии по-прежнему представлены, но само их присутствие больше не означает, что для каждой осталось одинаковое число задач.

Различия между отраслями полезно учитывать при чтении сводного результата. На каждую из отраслей «Информация» и «Обрабатывающая промышленность» приходится по 25 из исходных 220 строк, или 11,4%. В гипотетическом сводном показателе с одинаковым весом каждой задачи, рассчитанном ровно по 185 строкам с непустым списком, на отрасль «Информация» приходилось бы 14/185, или 7,6%, а на обрабатывающую промышленность — 25/185, или 13,5%. Это доли задач, а не результаты моделей и не оценки значимости разных профессий.

## Может ли система оценки прочитать эталонные файлы?

Расчёт для 185 строк не даёт окончательный знаменатель для оценки в gbench. В документации описаны ещё четыре задачи, указанные файлы результатов которых не преобразуются в текст. Таким образом, в этом снимке остаётся 181 задача с эталонным результатом, который можно преобразовать в текст. Мы не преобразовывали эти файлы самостоятельно и не запускали gbench.

Даже не зная, к каким отраслям относятся эти четыре задачи, можно определить полезные границы для описанного набора задач с эталонными результатами, которые можно преобразовать в текст. Если это четыре разные строки из 185 строк с непустым списком, остаётся не менее 21 строки для обрабатывающей промышленности и не более 14 для отрасли «Информация». При одинаковом весе задач эти границы составляют соответственно 21/181 (11,6%) и 14/181 (7,7%). В реальном запуске знаменатель для оценки может быть другим: на него также влияют ошибки генерации, ошибки судьи и число попыток для каждой задачи. Эти подсчёты не описывают исходные результаты OpenAI, оценённые людьми.

У других методов оценки другие требования. В [описанном режиме оценки по рубрике NeMo Gym на коммите `5d6429f`](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md) LLM-судья оценивает предложенный результат по рубрике задачи. [Код подготовки](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) не копирует список `deliverable_files` с эталонными результатами экспертов, а [проверка рубрики](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) сообщает `missing_rubric`, если оба поля рубрики пусты. Все указанные входные файлы задачи необходимо подготовить; также требуются предложенный результат и судья. Вызов подготовки не фиксирует ревизию набора данных. Мы не запускали NeMo Gym и не измеряли его охват. Оценка по рубрике в NeMo Gym и доля побед или ничьих в gbench — разные показатели.

## Что видит судья

Доступность эталонного результата — лишь одна часть сравнения. В [документации gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) уже указано, что 32 из 220 рубрик превышают установленный по умолчанию предел в 8 000 символов. Форматтер сохраняет критерии целиком в исходном порядке, пока следующий критерий не превысит предел, а затем добавляет пометку об усечении; если уже первый критерий превышает предел, отображается только его часть. Число символов не равно числу токенов.

Мы применили этот зафиксированный форматтер к таблице задач. Среди 185 строк с указанным эталонным результатом эксперта при настройке по умолчанию были бы усечены 26 рубрик, в которых в общей сложности были бы полностью пропущены 247 критериев. Указанный результат не обязательно можно преобразовать в текст, а ошибки генерации или пустые результаты могут помешать вызову судьи, поэтому эти числа не показывают количество сравнений, оценённых судьёй. Для примера: если изменить только предел форматтера на 12 000 или 16 000 символов, среди этих 185 рубрик были бы усечены соответственно две или ни одной. Мы не проверяли эти настройки с помощью системы оценки или судьи. Число пропущенных критериев не показывает их важность и не позволяет установить, изменилось бы решение; более высокий предел может оставить меньше места для остальной информации в контекстном окне фиксированного размера. Проверяйте сведения об усечении, записанные при фактическом запуске, вместе с количеством эталонных результатов и оценённых задач.

[Скрипт отбора по рубрикам](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) воспроизводит эти подсчёты с помощью DuckDB 1.4.4. Он временно скачивает полную зафиксированную таблицу задач и обрабатывает текст рубрик в памяти; в выходных данных сохраняются сводные подсчёты, но не идентификаторы задач или текст рубрик. После штатного выполнения скрипт удаляет временную таблицу. Он выполняет только проверенный форматтер из gbench, целостность которого подтверждена по хешу, в ограниченном пространстве имён, которое не является изолированной средой безопасности. Архив включает лицензию и уведомление исходного проекта. После настройки DuckDB, описанной ниже, используйте Python 3.11, чтобы создать окружение, скачать архив и запустить скрипт в macOS или Linux:

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## Проследите путь от задач к оценкам

При настройке или сравнении систем оценки зафиксируйте ревизию набора данных, требуемый тип эталонного результата и каждое правило отбора. Приведите количество задач по группам в исходной таблице, после проверки эталонных результатов и после оценки. Отдельно учитывайте отсутствие указанного эталонного результата, нечитаемый эталонный результат, неудачную генерацию и непригодное решение судьи. Иначе единый сводный показатель может скрыть, какие задачи перестали вносить вклад в результат.

Также укажите, какой вес получают оставшиеся задачи и попытки. При различающемся количестве одинаковый вес каждой задачи, каждой профессии или каждой попытки помогает ответить на разные вопросы. Сам по себе ни один из этих подходов не восполняет недостающие данные; выбор сводного показателя зависит от того, что именно должна измерять оценка.

Если вы разрабатываете собственный набор задач, [руководство по оценке агентов](https://sapien1.com/ru/agent-evaluation) поможет определить наблюдаемые проверки и интерпретировать повторные испытания.

## Записывайте точную версию каждого входного файла

Фиксация таблицы задач не обязательно фиксирует каждый файл, который скачивает система оценки. В [более ранней публичной таблице GDPval на ревизии `4bf6426`](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1) входные файлы указаны в 122 из 220 строк задач. Все 262 указанных URL входных файлов ведут на изменяемую ветку `main` репозитория. Согласно метаданным поставщика, к моменту [ревизии `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) у 62 из этих путей изменились размеры файлов и идентификаторы blob-объектов; эти 62 пути встречаются в 20 строках более ранней таблицы. Это входные файлы задач, а не эталонные результаты экспертов в `deliverable_files`, подсчитанные выше.

Это не показывает, что в конкретной оценке использовался изменённый входной файл, что файл повреждён или что оценка изменилась. Но это показывает, почему переход по изменяемым URL из сохранённой таблицы позднее может привести к выбору другой версии входного файла. Мы не анализировали содержимое входных файлов.

На [коммите Inspect Evals `5c092d5`](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py) загрузчик GDPval фиксирует таблицу задач на ревизии `a3848a2`. Эта таблица побайтово идентична более ранней таблице, описанной выше, и метаданные входных файлов у поставщика также совпадают. Загрузчик преобразует парные URL из таблицы в сопоставления файлов примеров; в [документации Inspect](https://inspect.aisi.org.uk/datasets.html#sample-files) указано, что в этих сопоставлениях могут использоваться URL. Таким образом, этот путь загрузки может передавать изменяемые URL вместе с зафиксированной таблицей. Мы не проверяли скачивание или кеширование файлов в Inspect и не устанавливали, что использовалось в каких-либо запусках.

Вместо этого система оценки может разрешать пути относительно набора данных на той же неизменяемой ревизии, что и таблица. [Рассмотренная здесь реализация gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) явно указывает зафиксированную ревизию при получении вложений. Запишите ревизию и, где это возможно, проверьте фактически использованные файлы. В [документации Hugging Face по скачиванию](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) объясняется, как определить коммит, соответствующий изменяемой ревизии, чтобы скачивать согласованные версии файлов.

[Скрипт анализа URL входных файлов](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) воспроизводит подсчёты с помощью DuckDB 1.4.4. Он временно скачивает более раннюю таблицу задач, удаляет её после штатного выполнения и не сохраняет в выходных данных текст задач, отдельные идентификаторы, пути к входным файлам или их содержимое. Необязательный флаг позволяет проверить заголовки ответа для одного пути и текущую ревизию `main`; результат может измениться при обновлении `main`. Для этой проверки скрипт отправляет только запросы `HEAD`, в том числе при перенаправлениях, и не делает выводов о недоступных результатах. Проверки с помощью стандартной библиотеки Python сравнивают [таблицу и метаданные, зафиксированные в Inspect](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py), и изучают [зафиксированный исходный код загрузчика](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py), не запуская его. Проверка хеша таблицы считывает её целиком в память, но не разбирает и не сохраняет содержимое задач. Скрипты не запрашивают содержимое входных файлов.

После настройки DuckDB, описанной ниже, запустите проверки в macOS или Linux:

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## Как мы считали

Для анализа доступности эталонных результатов мы изучили таблицу Parquet `train` в GDPval на ревизии `11e7900cdcac61bc4daf59e65feb238acda98fbf`, подтвердили наличие 220 уникальных идентификаторов задач и группировали данные только по отрасли, профессии и длине каждого списка `deliverable_files`. [Скрипт анализа](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) проверяет хеш исходного файла и воспроизводит подсчёты с помощью DuckDB 1.4.4. Он временно скачивает полную таблицу и удаляет её после штатного выполнения; в выходных данных не сохраняются промпты, рубрики, отдельные идентификаторы задач, пути к файлам результатов или сами результаты. Мы не запускали модель, бенчмарк или средство преобразования эталонных результатов.

Чтобы воспроизвести результаты локально в macOS или Linux с помощью Python 3.9 или более поздней версии, убедитесь, что `python3` указывает на эту версию:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

sapien1 предоставляет эти скрипты для скачивания и локального запуска; дополнительная лицензия на их изменение или распространение не указана. Условия использования исходного набора данных устанавливаются отдельно.

OpenAI описывает подмножество gold из 220 задач как [опубликованное с открытым исходным кодом](https://openai.com/index/gdpval/). [Зафиксированная карточка набора данных](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) содержит контрольную строку бенчмарка и не содержит поля лицензии; проверьте условия, применимые к вашему использованию, а не делайте выводы по обозначению в карточке или этому подсчёту. Названия отраслей и профессий, а также бенчмарк остаются атрибутированными своему источнику.
