# Tapisan fail rujukan mengubah komposisi tugasan awam GDPval

Skor penanda aras lebih mudah ditafsir apabila anda tahu tugasan yang boleh disertakan. Dalam jadual tugasan emas awam GDPval, setiap satu daripada 44 pekerjaan bermula dengan lima tugasan. Namun, perbandingan yang memerlukan fail rujukan pakar yang disenaraikan tidak dapat menggunakan setiap baris dalam jadual itu dengan cara yang sama: 35 daripada 220 baris mempunyai senarai `deliverable_files` yang kosong.

Jumlah itu sudah didokumenkan oleh [pelaksanaan GDPval gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md). Kami mengira taburan senarai kosong tersebut mengikut sektor dan pekerjaan dalam [syot kilat GDPval yang dipinkan](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) yang sama. Kesemua 44 pekerjaan masih mempunyai sekurang-kurangnya satu baris dengan fail yang disenaraikan. Namun, komposisi yang tinggal tidak lagi setara seperti dalam jadual asal.

## Tugasan manakah yang menyenaraikan fail rujukan daripada pakar?

Kiraan ini hanya menilai sama ada jadual menyenaraikan sekurang-kurangnya satu laluan hasil kerja pakar. Laluan yang disenaraikan bukan bukti bahawa fail boleh diakses atau dirender. Senarai kosong tidak membuktikan sama ada rujukan wujud di tempat lain di luar jadual ini.

| Sektor | Baris dalam jadual emas awam | Dengan hasil kerja disenaraikan | Dengan senarai kosong |
| --- | ---: | ---: | ---: |
| Kewangan dan insurans | 25 | 17 | 8 |
| Kerajaan | 25 | 22 | 3 |
| Penjagaan kesihatan dan bantuan sosial | 25 | 22 | 3 |
| Maklumat | 25 | 14 | 11 |
| Pembuatan | 25 | 25 | 0 |
| Perkhidmatan profesional, saintifik dan teknikal | 25 | 24 | 1 |
| Hartanah, sewaan dan pajakan | 25 | 20 | 5 |
| Perdagangan runcit | 20 | 16 | 4 |
| Perdagangan borong | 25 | 25 | 0 |
| **Jumlah** | **220** | **185** | **35** |

![Baris dengan hasil kerja pakar yang disenaraikan mengikut sektor](https://sapien1.com/research/gdpval-reference-coverage/figures/ms/sector-coverage.svg)

Bar menunjukkan kehadiran senarai, bukan akses atau kebolehrenderan fail yang disahkan.

Jadual ini mengandungi 44 kumpulan pekerjaan-sektor dengan lima tugasan setiap satu. Daripadanya, 22 mengekalkan kelima-lima baris pada tapisan ini dan 22 mengekalkan antara dua hingga empat baris. Setiap pekerjaan masih diwakili, tetapi kehadirannya sahaja tidak lagi bermakna setiap satu mempunyai bilangan tugasan yang sama.

Perbezaan antara sektor berguna apabila membaca angka agregat. Maklumat dan Pembuatan masing-masing merangkumi 25 daripada 220 baris asal, iaitu 11.4%. Dalam ringkasan hipotesis yang memberikan wajaran sama bagi setiap tugasan dan merangkumi tepat 185 baris dengan senarai yang tidak kosong, Maklumat akan merangkumi 14/185, atau 7.6%, dan Pembuatan 25/185, atau 13.5%. Ini ialah bahagian tugasan, bukan skor model atau anggaran nilai pekerjaan yang berbeza.

## Bolehkah sistem pemarkahan membaca fail rujukan?

Pengiraan 185 baris itu bukan penyebut pemarkahan akhir gbench. Dokumentasinya menerangkan empat lagi tugasan yang hasil kerja tersenarainya tidak dapat dirender kepada teks, menjadikan 181 tugasan dengan rujukan yang boleh dirender pada syot kilat tersebut. Kami tidak merender fail itu secara bebas atau menjalankan gbench.

Walaupun tanpa mengetahui sektor yang mengandungi empat tugasan itu, kiraan ini memberikan had yang berguna untuk set rujukan yang boleh dirender seperti yang didokumenkan. Jika keempat-empatnya ialah baris berbeza daripada 185 baris dengan senarai yang tidak kosong, sekurang-kurangnya 21 baris Pembuatan dan paling banyak 14 baris Maklumat masih tinggal. Dengan wajaran sama bagi setiap tugasan, had tersebut masing-masing ialah 21/181 (11.6%) dan 14/181 (7.7%). Penyebut yang diskor dalam pelaksanaan sebenar boleh berbeza kerana kegagalan penjanaan, kegagalan penilai dan bilangan percubaan bagi setiap tugasan juga mempengaruhinya. Kiraan ini tidak menerangkan keputusan asal OpenAI yang dinilai oleh manusia.

Kaedah pemarkahan lain mempunyai keperluan yang berbeza. Dalam [mod rubrik NeMo Gym yang didokumenkan pada komit `5d6429f`](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md), penilai LLM menilai hasil kerja calon berdasarkan rubrik tugasan. [Kod penyediaannya](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) tidak menyalin senarai `deliverable_files` output pakar, manakala [pengesah rubriknya](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) melaporkan `missing_rubric` jika kedua-dua medan rubrik kosong. Sebarang fail input tugasan yang disenaraikan mesti disediakan, dan output calon serta penilai masih diperlukan; panggilan penyediaan itu tidak meminkan revisi set data. Kami tidak menjalankan NeMo Gym atau mengukur liputannya. Skor rubriknya dan kadar kemenangan atau seri gbench ialah ukuran yang berbeza.

## Apa yang boleh dilihat oleh penilai

Ketersediaan rujukan hanyalah satu bahagian daripada perbandingan. [Dokumentasi gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) sudah melaporkan bahawa 32 daripada 220 rubrik melebihi had rubrik lalainya sebanyak 8,000 aksara. Pemformatnya mengekalkan kriteria lengkap mengikut urutan asal sehingga kriteria seterusnya akan melebihi had, kemudian menambah penanda pemotongan; jika kriteria pertama sahaja melebihi had, hanya sebahagian daripadanya dipaparkan. Kiraan aksara berbeza daripada kiraan token.

Kami menggunakan pemformat yang dipinkan itu pada jadual tugasan. Antara 185 baris dengan hasil kerja pakar yang disenaraikan, 26 rubrik akan terpotong pada had lalai, menyebabkan 247 kriteria lengkap tidak disertakan merentas baris tersebut. Hasil kerja yang disenaraikan tidak semestinya boleh dirender, dan penjanaan yang gagal atau kosong boleh menghalang panggilan penilai, jadi ini bukan kiraan perbandingan yang dinilai. Sebagai gambaran, jika hanya had pemformat diubah kepada 12,000 atau 16,000 aksara, masing-masing dua atau sifar daripada 185 rubrik itu akan terpotong. Kami tidak menjalankan tetapan tersebut melalui alat penilaian atau penilai. Kiraan kriteria yang tidak disertakan tidak membuktikan kepentingannya atau sama ada keputusan akan berubah; had yang lebih besar boleh mengurangkan ruang untuk kandungan lain dalam tetingkap konteks yang tetap. Periksa maklumat pemotongan yang direkodkan oleh pelaksanaan sebenar bersama kiraan rujukan dan pemarkahannya.

[Tapisan rubrik](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) menghasilkan semula kiraan ini menggunakan DuckDB 1.4.4. Ia memuat turun jadual tugasan lengkap yang dipinkan buat sementara waktu dan memproses teks rubrik dalam memori; outputnya mengekalkan kiraan agregat, bukan ID tugasan atau teks rubrik. Ia memadamkan jadual sementara selepas pelaksanaan biasa. Ia hanya melaksanakan pemformat gbench yang telah diperiksa dan disahkan hashnya dalam ruang nama terhad, yang bukan kotak pasir keselamatan. Arkib tersebut menyertakan lesen dan notis huluan. Selepas menyediakan DuckDB seperti di bawah, gunakan Python 3.11 untuk mencipta persekitaran, memuat turun arkib dan menjalankannya pada macOS atau Linux:

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## Rekodkan laluan daripada tugasan kepada skor

Apabila menyediakan atau membandingkan penilaian, rekodkan revisi set data, jenis rujukan yang diperlukan dan setiap peraturan kelayakan. Laporkan kiraan mengikut kumpulan dalam jadual awal, selepas semakan rujukan dan selepas pemarkahan. Asingkan sebab bagi rujukan yang tidak disenaraikan, rujukan yang tidak boleh dibaca, penjanaan yang gagal dan keputusan penilai yang tidak boleh digunakan. Jika tidak, satu angka agregat boleh menyembunyikan tugasan yang tidak lagi menyumbang.

Nyatakan juga cara tugasan dan percubaan yang tinggal diberi wajaran. Wajaran sama bagi setiap tugasan, setiap pekerjaan dan setiap percubaan menjawab soalan yang berbeza apabila bilangannya berbeza. Tiada satu pun yang dapat menggantikan bukti yang tiada dengan sendirinya; ringkasan yang sesuai bergantung pada perkara yang hendak diukur oleh penilaian itu.

Untuk set tugasan yang anda reka sendiri, [panduan penilaian ejen](https://sapien1.com/ms/agent-evaluation) menunjukkan cara mentakrifkan semakan yang boleh diperhatikan dan mentafsir percubaan berulang.

## Catat versi tepat setiap fail input

Jadual tugasan yang dipinkan tidak semestinya meminkan setiap fail yang dimuat turun oleh alat penilaian. Dalam [jadual GDPval awam terdahulu pada revisi `4bf6426`](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1), 122 daripada 220 baris tugasan menyenaraikan fail input. Kesemua 262 URL input yang disenaraikan merujuk kepada cabang `main` repositori yang berubah dari semasa ke semasa. Metadata penyedia melaporkan bahawa 62 daripada laluan yang sama mempunyai saiz dan ID blob yang berbeza menjelang [revisi `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf); 62 laluan tersebut muncul dalam 20 baris jadual terdahulu itu. Ini ialah input tugasan, berbeza daripada output rujukan pakar dalam `deliverable_files` yang dikira di atas.

Ini tidak menunjukkan bahawa penilaian tertentu menggunakan input yang berubah, bahawa fail rosak atau bahawa skor berubah. Namun, ini menunjukkan sebab mengikut URL yang boleh berubah dalam jadual yang disimpan pada kemudian hari boleh memilih versi input yang berbeza. Kami tidak menganalisis kandungan fail input.

Pada [komit Inspect Evals `5c092d5`](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py), pemuat GDPval meminkan jadual tugasannya kepada revisi `a3848a2`. Jadual itu sama bait demi bait dengan jadual terdahulu di atas, dan metadata fail input penyedia juga sepadan. Pemuat itu memetakan URL jadual yang berpasangan kepada pemetaan fail sampel; [dokumentasi Inspect](https://inspect.aisi.org.uk/datasets.html#sample-files) menyatakan bahawa pemetaan tersebut boleh menggunakan URL. Oleh itu, laluan sumber ini boleh membawa URL yang berubah bersama jadual yang tetap. Kami tidak menguji muat turun atau caching fail Inspect, atau menentukan apa yang digunakan oleh mana-mana pelaksanaan.

Alat penilaian boleh menentukan laluan relatif set data pada revisi tidak berubah yang sama seperti jadualnya. [Pelaksanaan gbench yang diperiksa di sini](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) secara jelas memberikan revisi yang dipinkan apabila mengambil lampiran. Rekodkan revisi dan, jika praktikal, sahkan fail yang benar-benar digunakan. [Dokumentasi muat turun Hugging Face](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) menerangkan cara menentukan komit bagi revisi yang boleh berubah untuk muat turun yang konsisten.

[Skrip analisis URL input](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) menghasilkan semula kiraan ini menggunakan DuckDB 1.4.4. Ia memuat turun jadual tugasan terdahulu buat sementara waktu, memadamkannya selepas pelaksanaan biasa dan tidak mengekalkan teks tugasan, ID individu, laluan input atau kandungan input dalam outputnya. Satu bendera pilihan menyemak pengepala respons bagi satu laluan dan revisi `main` semasa; hasilnya boleh berubah apabila `main` berubah. Untuk semakan itu, skrip hanya menghantar permintaan `HEAD`, termasuk melalui pengalihan, dan tidak memerhatikan hasil yang tidak tersedia. Semakan pustaka standard Python membandingkan [jadual dan metadata yang dipinkan oleh Inspect](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py) serta memeriksa [sumber pemuat yang dipinkan](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py) tanpa menjalankannya. Semakan hash jadual membaca keseluruhan jadual ke dalam memori tetapi tidak menghuraikan atau mengekalkan kandungan tugasannya. Skrip ini tidak meminta isi fail input.

Selepas menyediakan DuckDB seperti di bawah, jalankan semakan pada macOS atau Linux dengan:

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## Cara kami mengira

Untuk banci ketersediaan rujukan, kami memeriksa jadual Parquet `train` pada revisi GDPval `11e7900cdcac61bc4daf59e65feb238acda98fbf`, mengesahkan 220 ID tugasan yang berbeza, dan mengumpulkan hanya sektor, pekerjaan dan panjang setiap senarai `deliverable_files`. [Skrip analisis](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) menyemak hash sumber dan menghasilkan semula kiraan menggunakan DuckDB 1.4.4. Ia memuat turun jadual penuh buat sementara waktu dan memadamkannya selepas pelaksanaan biasa; outputnya tidak mengekalkan gesaan, rubrik, ID tugasan individu, laluan hasil kerja atau hasil kerja. Tiada model, penanda aras atau alat perenderan rujukan dijalankan.

Untuk menghasilkan semula secara setempat dengan Python 3.9 atau lebih baharu pada macOS atau Linux, pastikan `python3` memilih versi tersebut:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

sapien1 menyediakan skrip ini untuk dimuat turun dan dijalankan secara setempat; tiada lesen tambahan untuk mengubah suai atau mengedarkannya semula dinyatakan. Terma set data sumber adalah berasingan.

OpenAI menerangkan subset emas 220 tugasan itu sebagai [bersumber terbuka](https://openai.com/index/gdpval/). [Kad set data yang dipinkan](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) mengandungi canary penanda aras dan tiada medan lesen; semak terma yang terpakai untuk penggunaan anda sendiri dan jangan membuat andaian berdasarkan label kad atau kiraan ini. Label sektor dan pekerjaan serta penanda aras kekal diatributkan kepada sumbernya.
