Lewati ke konten utama

Menu

Riset

Penyaringan berkas referensi mengubah komposisi tugas publik GDPval

Bahasa: Bahasa Indonesia

Skor benchmark lebih mudah ditafsirkan jika kita tahu tugas mana yang dapat masuk ke dalamnya. Dalam tabel tugas gold publik GDPval, masing-masing dari 44 jenis pekerjaan dimulai dengan lima tugas. Namun, perbandingan yang mensyaratkan berkas referensi ahli yang tercantum tidak dapat menggunakan setiap baris dalam tabel tersebut dengan cara yang sama: 35 dari 220 baris memiliki daftar deliverable_files yang kosong.

Jumlah itu sudah didokumentasikan oleh implementasi GDPval di gbench. Kami menghitung sebaran daftar kosong tersebut di berbagai sektor dan jenis pekerjaan dalam snapshot GDPval yang dipatok yang sama. Semua 44 jenis pekerjaan masih memiliki setidaknya satu baris dengan berkas yang tercantum. Namun, komposisi yang tersisa tidak lagi tersebar semerata tabel awal.

Tugas mana yang mencantumkan file referensi dari pakar?

Hitungan ini hanya menunjukkan apakah tabel mencantumkan setidaknya satu jalur deliverable ahli. Jalur yang tercantum bukan bukti bahwa berkas dapat diakses atau ditampilkan. Daftar kosong juga tidak memastikan apakah referensi tersedia di tempat lain di luar tabel ini.

SektorBaris dalam tabel gold publikDengan deliverable tercantumDengan daftar kosong
Keuangan dan asuransi25178
Pemerintahan25223
Layanan kesehatan dan bantuan sosial25223
Informasi251411
Manufaktur25250
Jasa profesional, ilmiah, dan teknis25241
Real estat dan penyewaan25205
Perdagangan ritel20164
Perdagangan grosir25250
Total22018535
Baris dengan deliverable ahli yang tercantum menurut sektor
Lihat gambar dalam ukuran penuh

Batang menunjukkan adanya entri dalam daftar, bukan akses atau penayangan berkas yang terverifikasi.

Tabel ini memuat 44 kelompok pekerjaan dan sektor, masing-masing dengan lima tugas. Dari jumlah itu, 22 kelompok mempertahankan kelima baris pada tahap penyaringan ini dan 22 lainnya mempertahankan dua hingga empat baris. Setiap jenis pekerjaan masih terwakili, tetapi keberadaannya saja tidak lagi berarti bahwa masing-masing memiliki jumlah tugas yang sama.

Perbedaan antar sektor ini berguna saat membaca angka agregat. Informasi dan Manufaktur masing-masing menyumbang 25 dari 220 baris awal, atau 11,4%. Dalam ringkasan hipotetis yang memberi bobot sama pada setiap tugas dan hanya mencakup 185 baris dengan entri dalam daftar, Informasi akan menyumbang 14/185, atau 7,6%, dan Manufaktur 25/185, atau 13,5%. Angka tersebut adalah proporsi tugas, bukan skor model atau perkiraan nilai berbagai jenis pekerjaan.

Bisakah penilai membaca file referensi?

Perhitungan 185 baris bukan penyebut akhir dalam penilaian gbench. Dokumentasinya menjelaskan bahwa deliverable yang tercantum pada empat tugas lainnya tidak dapat ditampilkan sebagai teks, sehingga tersisa 181 tugas dengan referensi yang dapat ditampilkan pada snapshot tersebut. Kami tidak menampilkan berkas-berkas itu secara mandiri atau menjalankan gbench.

Meski tidak mengetahui sektor dari keempat tugas tersebut, hitungan ini memberikan batas yang berguna untuk kumpulan tugas dengan referensi yang dapat ditampilkan sebagaimana didokumentasikan. Jika keempatnya adalah baris yang berbeda dari 185 baris dengan entri dalam daftar, setidaknya 21 baris Manufaktur dan paling banyak 14 baris Informasi tersisa. Dengan bobot yang sama untuk setiap tugas, batas tersebut masing-masing adalah 21/181 (11,6%) dan 14/181 (7,7%). Penyebut yang dinilai dalam proses aktual bisa berbeda karena kegagalan generasi, kegagalan penilai, dan jumlah percobaan per tugas juga berpengaruh. Hitungan ini tidak menggambarkan hasil awal OpenAI yang dinilai manusia.

Metode penilaian lain memiliki persyaratan berbeda. Dalam mode rubrik NeMo Gym yang didokumentasikan pada commit 5d6429f, penilai LLM menilai deliverable kandidat berdasarkan rubrik tugas. Kode persiapannya tidak menyalin daftar deliverable_files keluaran ahli, sedangkan verifikator rubriknya melaporkan missing_rubric jika kedua kolom rubrik kosong. Setiap berkas masukan tugas yang tercantum harus disiapkan, dan keluaran kandidat serta penilai tetap diperlukan; pemanggilan persiapan tidak mematok revisi dataset. Kami tidak menjalankan NeMo Gym atau mengukur cakupannya. Skor rubriknya dan tingkat menang atau seri gbench adalah ukuran yang berbeda.

Apa yang dapat dilihat penilai

Ketersediaan referensi hanyalah salah satu bagian dari perbandingan. Dokumentasi gbench sudah melaporkan bahwa 32 dari 220 rubrik melampaui batas default rubriknya, yaitu 8.000 karakter. Pemformatnya mempertahankan kriteria secara utuh sesuai urutan aslinya sampai kriteria berikutnya akan melampaui batas, lalu menambahkan penanda pemotongan; jika kriteria pertama saja melampaui batas, hanya sebagian kriteria itu yang ditampilkan. Jumlah karakter tidak sama dengan jumlah token.

Kami menerapkan pemformat yang dipatok tersebut pada tabel tugas. Di antara 185 baris dengan deliverable ahli yang tercantum, 26 rubrik akan terpotong pada batas default, sehingga total 247 kriteria utuh di seluruh baris tersebut tidak disertakan. Deliverable yang tercantum belum tentu dapat ditampilkan, dan hasil generasi yang gagal atau kosong dapat mencegah pemanggilan penilai, sehingga angka ini bukan jumlah perbandingan yang dinilai. Sebagai ilustrasi, jika hanya batas pemformat yang diubah menjadi 12.000 atau 16.000 karakter, masing-masing dua atau nol dari 185 rubrik tersebut akan terpotong. Kami tidak menjalankan pengaturan tersebut melalui evaluator atau penilai. Jumlah kriteria yang dihilangkan tidak menunjukkan tingkat kepentingannya atau apakah putusan akan berubah; batas yang lebih besar dapat menyisakan lebih sedikit ruang untuk bagian lain dalam jendela konteks berukuran tetap. Periksa informasi pemotongan yang dicatat oleh proses aktual bersama jumlah referensi dan penilaiannya.

Skrip penyaringan rubrik mereproduksi hitungan ini dengan DuckDB 1.4.4. Skrip ini mengunduh sementara tabel tugas lengkap yang dipatok dan memproses teks rubrik dalam memori; keluarannya hanya menyimpan hitungan agregat, bukan ID tugas atau teks rubrik. Tabel sementara dihapus setelah proses berjalan normal. Skrip hanya mengeksekusi pemformat gbench yang telah diperiksa dan diverifikasi hash-nya dalam namespace terbatas, yang bukan sandbox keamanan. Arsipnya menyertakan lisensi dan pemberitahuan dari sumber aslinya. Setelah menyiapkan DuckDB di bawah ini, gunakan Python 3.11 untuk membuat lingkungan, mengunduh arsip, dan menjalankannya di macOS atau Linux:

unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json

Catat alur dari tugas hingga skor

Saat menyiapkan atau membandingkan evaluasi, catat revisi dataset, jenis referensi yang diperlukan, dan setiap aturan kelayakan. Laporkan jumlah menurut kelompok pada tabel awal, setelah pemeriksaan referensi, dan setelah penilaian. Catat secara terpisah alasan untuk referensi yang tidak tercantum, referensi yang tidak dapat dibaca, generasi yang gagal, dan putusan penilai yang tidak dapat digunakan. Tanpa itu, satu angka agregat dapat menyembunyikan tugas mana yang tidak lagi berkontribusi.

Jelaskan juga cara pembobotan tugas dan percobaan yang tersisa. Bobot yang sama per tugas, per jenis pekerjaan, dan per percobaan menjawab pertanyaan yang berbeda ketika jumlahnya berbeda. Tidak satu pun dengan sendirinya menggantikan bukti yang hilang; ringkasan yang tepat bergantung pada apa yang ingin diukur oleh evaluasi.

Untuk kumpulan tugas yang kamu rancang sendiri, panduan evaluasi agen menunjukkan cara menentukan pemeriksaan yang dapat diamati dan menafsirkan percobaan berulang.

Catat versi persis dari setiap file masukan

Tabel tugas yang dipatok belum tentu mematok setiap berkas yang diunduh evaluator. Dalam tabel GDPval publik sebelumnya pada revisi 4bf6426, 122 dari 220 baris tugas mencantumkan berkas masukan. Seluruh 262 URL masukan yang tercantum mengarah ke cabang main repositori yang terus berubah. Metadata penyedia melaporkan bahwa 62 jalur yang sama memiliki ukuran dan ID blob yang berbeda pada revisi 11e7900; 62 jalur tersebut muncul dalam 20 baris tabel sebelumnya. Ini adalah masukan tugas, berbeda dari keluaran referensi ahli dalam deliverable_files yang dihitung di atas.

Hal ini tidak menunjukkan bahwa evaluasi tertentu menggunakan masukan yang telah berubah, bahwa suatu berkas rusak, atau bahwa skor berubah. Namun, hal ini menunjukkan mengapa mengikuti URL yang terus berubah dari tabel yang disimpan di kemudian hari dapat memilih versi masukan yang berbeda. Kami tidak menganalisis isi berkas masukan.

Pada commit Inspect Evals 5c092d5, pemuat GDPval mematok tabel tugasnya ke revisi a3848a2. Tabel itu identik byte demi byte dengan tabel sebelumnya di atas, dan metadata berkas masukan dari penyedia juga cocok. Pemuat memetakan URL berpasangan dalam tabel menjadi pemetaan berkas sampel; dokumentasi Inspect menyatakan bahwa pemetaan tersebut dapat menggunakan URL. Oleh karena itu, alur sumber ini dapat membawa URL yang terus berubah bersama tabel yang tetap. Kami tidak menguji pengunduhan atau cache berkas Inspect, atau memastikan apa yang digunakan dalam proses mana pun.

Evaluator dapat menggunakan revisi tetap yang sama dengan tabelnya untuk menentukan jalur relatif dataset. Implementasi gbench yang diperiksa di sini secara eksplisit menyertakan revisi yang dipatok saat mengambil lampiran. Catat revisinya dan, jika memungkinkan, verifikasi berkas yang benar-benar digunakan. Dokumentasi pengunduhan Hugging Face menjelaskan cara menentukan commit dari revisi yang terus berubah agar pengunduhan konsisten.

Skrip analisis URL masukan mereproduksi hitungan ini menggunakan DuckDB 1.4.4. Skrip mengunduh tabel tugas sebelumnya untuk sementara, menghapusnya setelah proses berjalan normal, dan tidak menyimpan teks tugas, ID individual, jalur masukan, atau isi masukan dalam keluarannya. Flag opsional memeriksa header respons satu jalur dan revisi main saat ini; hasilnya dapat berubah saat main berubah. Untuk pemeriksaan itu, skrip hanya mengirim permintaan HEAD, termasuk saat mengikuti pengalihan, dan tidak mengamati hasil yang tidak tersedia. Pemeriksaan dengan pustaka standar Python membandingkan tabel dan metadata yang dipatok Inspect serta memeriksa kode sumber pemuat yang dipatok tanpa menjalankannya. Pemeriksaan hash tabel membaca seluruh tabel ke dalam memori, tetapi tidak mengurai atau menyimpan isi tugasnya. Skrip tidak meminta isi berkas masukan.

Setelah menyiapkan DuckDB di bawah ini, jalankan pemeriksaan di macOS atau Linux dengan:

.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py

Cara kami menghitung

Untuk sensus ketersediaan referensi, kami memeriksa tabel Parquet train pada revisi GDPval 11e7900cdcac61bc4daf59e65feb238acda98fbf, memverifikasi 220 ID tugas yang berbeda, dan mengelompokkan hanya berdasarkan sektor, jenis pekerjaan, dan panjang setiap daftar deliverable_files. Skrip analisis memeriksa hash sumber dan mereproduksi hitungan menggunakan DuckDB 1.4.4. Skrip mengunduh tabel lengkap untuk sementara dan menghapusnya setelah proses berjalan normal; keluarannya tidak menyimpan prompt, rubrik, ID tugas individual, jalur deliverable, atau deliverable. Tidak ada model, benchmark, atau alat penampil referensi yang dijalankan.

Untuk mereproduksinya secara lokal dengan Python 3.9 atau lebih baru di macOS atau Linux, pastikan python3 memilih versi tersebut:

python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json

sapien1 menyediakan skrip ini untuk diunduh dan dijalankan secara lokal; tidak ada lisensi tambahan untuk mengubah atau mendistribusikannya kembali yang dinyatakan. Ketentuan dataset sumber berlaku secara terpisah.

OpenAI menyebut subset gold berisi 220 tugas ini sebagai bersumber terbuka. Kartu dataset yang dipatok memuat canary benchmark dan tidak memiliki kolom lisensi; periksa ketentuan yang berlaku untuk penggunaanmu sendiri, alih-alih menyimpulkannya dari label kartu atau dari hitungan ini. Label sektor dan jenis pekerjaan serta benchmark tetap diatribusikan kepada sumbernya.