# Uma triagem por arquivos de referência altera a composição pública de tarefas do GDPval

É mais fácil interpretar a pontuação de um benchmark quando se sabe quais tarefas podem compô-la. Na tabela pública de tarefas gold do GDPval, cada uma das 44 ocupações começa com cinco tarefas. Mas uma comparação que exige um arquivo de referência de especialista listado não pode usar todas as linhas da tabela da mesma forma: 35 das 220 linhas têm uma lista `deliverable_files` vazia.

Esse total já está documentado na [implementação do GDPval no gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md). Contamos como essas listas vazias se distribuem entre setores e ocupações no mesmo [snapshot fixado do GDPval](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf). As 44 ocupações ainda têm pelo menos uma linha com um arquivo listado. Mas a composição restante não é tão uniforme quanto a da tabela inicial.

## Quais tarefas listam um arquivo de referência feito por um especialista?

Essas contagens verificam apenas se a tabela lista pelo menos um caminho para uma entrega de especialista. Um caminho listado não comprova que o arquivo esteja acessível ou possa ser renderizado. Uma lista vazia não permite concluir se existe uma referência em algum lugar fora dessa tabela.

| Setor | Linhas na tabela gold pública | Com entrega listada | Com lista vazia |
| --- | ---: | ---: | ---: |
| Finanças e seguros | 25 | 17 | 8 |
| Governo | 25 | 22 | 3 |
| Saúde e assistência social | 25 | 22 | 3 |
| Informação | 25 | 14 | 11 |
| Indústria de transformação | 25 | 25 | 0 |
| Serviços profissionais, científicos e técnicos | 25 | 24 | 1 |
| Atividades imobiliárias, aluguel e arrendamento | 25 | 20 | 5 |
| Comércio varejista | 20 | 16 | 4 |
| Comércio atacadista | 25 | 25 | 0 |
| **Total** | **220** | **185** | **35** |

![Linhas com entrega de especialista listada por setor](https://sapien1.com/research/gdpval-reference-coverage/figures/pt-BR/sector-coverage.svg)

As barras mostram a presença na lista, não o acesso verificado ao arquivo nem sua capacidade de renderização.

A tabela contém 44 grupos de ocupação e setor com cinco tarefas cada. Destes, 22 mantêm as cinco linhas nessa triagem e 22 mantêm entre duas e quatro. Todas as ocupações continuam presentes, mas a presença por si só já não significa que cada uma tenha o mesmo número de tarefas.

O contraste entre setores ajuda na leitura de um resultado agregado. Informação e Indústria de transformação respondem, cada um, por 25 das 220 linhas originais, ou 11,4%. Em um resumo hipotético com peso igual por tarefa, considerando exatamente as 185 linhas com arquivos listados, Informação responderia por 14/185, ou 7,6%, e Indústria de transformação por 25/185, ou 13,5%. Essas são proporções de tarefas, não pontuações de modelos nem estimativas do valor de diferentes ocupações.

## O sistema de avaliação consegue ler os arquivos de referência?

O cálculo das 185 linhas não é o denominador final de pontuação do gbench. Sua documentação descreve outras quatro tarefas cujas entregas listadas não são renderizadas em texto, restando 181 tarefas com referência renderizável naquele snapshot. Não renderizamos esses arquivos de forma independente nem executamos o gbench.

Mesmo sem saber a quais setores pertencem essas quatro tarefas, as contagens delimitam o conjunto documentado de tarefas com referência renderizável. Se forem quatro linhas distintas entre as 185 com arquivos listados, restam pelo menos 21 linhas de Indústria de transformação e no máximo 14 de Informação. Com pesos iguais por tarefa, esses limites são, respectivamente, 21/181 (11,6%) e 14/181 (7,7%). Uma execução real pode ter um denominador de pontuação diferente, pois falhas na geração, falhas do juiz e o número de tentativas por tarefa também influenciam o resultado. Essas contagens não descrevem os resultados originais do OpenAI avaliados por humanos.

Outros métodos de avaliação têm requisitos diferentes. No [modo de rubrica documentado do NeMo Gym no commit `5d6429f`](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md), um LLM atuando como juiz avalia uma entrega candidata com base na rubrica da tarefa. Seu [código de preparação](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) não copia a lista `deliverable_files` de saídas de especialistas, enquanto seu [verificador de rubrica](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) retorna `missing_rubric` se ambos os campos de rubrica estiverem vazios. Todos os arquivos de entrada da tarefa listados precisam ser disponibilizados, e ainda são necessários uma saída candidata e um juiz; a chamada de preparação não fixa uma revisão do conjunto de dados. Não executamos o NeMo Gym nem medimos sua cobertura. Sua pontuação por rubrica e a taxa de vitórias ou empates do gbench são medidas diferentes.

## O que o juiz pode ver

A disponibilidade da referência é apenas uma parte da comparação. A [documentação do gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) já informa que 32 das 220 rubricas excedem seu limite padrão de 8.000 caracteres por rubrica. Seu formatador mantém os critérios inteiros na ordem original até que o próximo exceda o limite e então adiciona um marcador de truncamento; se o primeiro critério, por si só, exceder o limite, mostra apenas parte dele. Contagens de caracteres não são contagens de tokens.

Aplicamos esse formatador fixado à tabela de tarefas. Entre as 185 linhas com uma entrega de especialista listada, 26 rubricas seriam truncadas no limite padrão, omitindo 247 critérios inteiros no total dessas linhas. Uma entrega listada não é necessariamente renderizável, e gerações malsucedidas ou vazias podem impedir uma chamada ao juiz; portanto, essas não são contagens de comparações avaliadas. Para ilustrar, alterar apenas o limite do formatador para 12.000 ou 16.000 caracteres truncaria, respectivamente, duas ou nenhuma dessas 185 rubricas. Não executamos essas configurações em um avaliador ou juiz. A quantidade de critérios omitidos não determina sua importância nem se um veredito mudaria; um limite maior pode deixar menos espaço para o restante de uma janela de contexto fixa. Examine as informações de truncamento registradas pela execução real junto às contagens de referências e de pontuação.

A [triagem de rubricas](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) reproduz essas contagens com DuckDB 1.4.4. Ela baixa temporariamente a tabela completa de tarefas fixada e processa o texto das rubricas em memória; sua saída mantém contagens agregadas, sem IDs de tarefas ou texto de rubricas. A tabela temporária é removida após uma execução normal. Ela executa apenas o formatador do gbench inspecionado e verificado por hash em um namespace restrito, que não é uma sandbox de segurança. O arquivo compactado inclui a licença e o aviso do projeto original. Após configurar o DuckDB conforme as instruções abaixo, use Python 3.11 para criar o ambiente, baixar o arquivo compactado e executar no macOS ou Linux:

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## Registre o caminho das tarefas às pontuações

Ao configurar ou comparar uma avaliação, registre a revisão do conjunto de dados, o tipo de referência exigido e cada regra de elegibilidade. Informe as contagens por grupo na tabela inicial, após as verificações de referência e após a pontuação. Registre separadamente os motivos para uma referência listada ausente, uma referência ilegível, uma geração malsucedida e um veredito inutilizável do juiz. Caso contrário, um único resultado agregado pode ocultar quais tarefas deixaram de contribuir.

Informe também como as tarefas e tentativas restantes são ponderadas. Peso igual por tarefa, por ocupação e por tentativa responde a perguntas diferentes quando as contagens variam. Nenhuma dessas opções supre, por si só, a falta de evidências; o resumo adequado depende do que a avaliação pretende medir.

Para um conjunto de tarefas criado por você, o [guia de avaliação de agentes](https://sapien1.com/pt-BR/agent-evaluation) mostra como definir verificações observáveis e interpretar testes repetidos.

## Registre a versão exata de cada arquivo de entrada

Uma tabela de tarefas fixada não fixa necessariamente todos os arquivos baixados por um avaliador. Em uma [tabela pública anterior do GDPval na revisão `4bf6426`](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1), 122 das 220 linhas de tarefas listam arquivos de entrada. Todas as 262 URLs de entrada listadas apontam para a ramificação mutável `main` do repositório. Os metadados do provedor informam que 62 desses mesmos caminhos tinham tamanhos e IDs de blob diferentes na [revisão `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf); esses 62 caminhos aparecem em 20 linhas da tabela anterior. São entradas de tarefas, distintas das saídas de referência de especialistas em `deliverable_files` contadas acima.

Isso não mostra que uma avaliação específica usou uma entrada alterada, que um arquivo está corrompido ou que uma pontuação mudou. Mostra por que acessar posteriormente as URLs mutáveis de uma tabela salva pode selecionar uma versão diferente de uma entrada. Não analisamos o conteúdo dos arquivos de entrada.

No [commit `5c092d5` do Inspect Evals](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py), o carregador do GDPval fixa sua tabela de tarefas na revisão `a3848a2`. Essa tabela é idêntica à tabela anterior mencionada acima, byte a byte, e os metadados dos arquivos de entrada do provedor também coincidem. O carregador associa pares de URLs da tabela a mapeamentos de arquivos das amostras; a [documentação do Inspect](https://inspect.aisi.org.uk/datasets.html#sample-files) informa que esses mapeamentos podem usar URLs. Esse caminho de origem pode, portanto, levar URLs mutáveis junto com uma tabela fixa. Não testamos os downloads de arquivos ou o cache do Inspect, nem determinamos o que alguma execução usou.

Um avaliador pode, em vez disso, resolver caminhos relativos ao conjunto de dados na mesma revisão imutável da tabela. A [implementação do gbench inspecionada aqui](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) fornece explicitamente sua revisão fixada ao buscar anexos. Registre a revisão e, quando possível, verifique os arquivos efetivamente usados. A [documentação de download do Hugging Face](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) explica como resolver uma revisão mutável para um commit e obter downloads consistentes.

O [script de análise de URLs de entrada](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) reproduz as contagens usando DuckDB 1.4.4. Ele baixa temporariamente a tabela de tarefas anterior, remove-a após uma execução normal e não mantém em sua saída textos de tarefas, IDs individuais, caminhos ou conteúdos de entrada. Uma opção verifica os cabeçalhos de resposta de um caminho e a revisão atual de `main`; seu resultado pode mudar conforme `main` avança. Para essa verificação, o script envia apenas requisições `HEAD`, inclusive por meio de redirecionamentos, e não observa resultados indisponíveis. As verificações da biblioteca padrão do Python comparam a [tabela e os metadados fixados pelo Inspect](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py) e inspecionam o [código-fonte do carregador fixado](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py) sem executá-lo. A verificação do hash da tabela lê a tabela completa em memória, mas não analisa nem mantém o conteúdo das tarefas. Os scripts não solicitam os corpos dos arquivos de entrada.

Após configurar o DuckDB conforme as instruções abaixo, execute as verificações no macOS ou Linux com:

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## Como fizemos a contagem

Para o levantamento de disponibilidade de referências, inspecionamos a tabela Parquet `train` na revisão `11e7900cdcac61bc4daf59e65feb238acda98fbf` do GDPval, verificamos 220 IDs distintos de tarefas e agrupamos apenas setor, ocupação e comprimento de cada lista `deliverable_files`. O [script de análise](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) verifica o hash da fonte e reproduz as contagens usando DuckDB 1.4.4. Ele baixa temporariamente a tabela completa e a remove após uma execução normal; sua saída não mantém prompts, rubricas, IDs individuais de tarefas, caminhos de entregas ou entregas. Nenhum modelo, benchmark ou renderizador de referências foi executado.

Para reproduzir localmente com Python 3.9 ou posterior no macOS ou Linux, confirme que `python3` seleciona essa versão:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

A sapien1 disponibiliza esses scripts para download e execução local; nenhuma licença adicional para modificá-los ou redistribuí-los é informada. Os termos do conjunto de dados de origem são separados.

A OpenAI descreve o subconjunto gold de 220 tarefas como [disponibilizado em código aberto](https://openai.com/index/gdpval/). O [cartão fixado do conjunto de dados](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) contém um marcador de benchmark e não tem campo de licença; verifique os termos aplicáveis ao seu uso, sem deduzi-los de um rótulo no cartão ou desta contagem. Os nomes dos setores e das ocupações e o benchmark continuam atribuídos à sua fonte.
