Sari la conținutul principal

Meniu

Cercetare

O verificare a fișierelor de referință schimbă distribuția sarcinilor publice din GDPval

Limbă: Română

Un scor de benchmark este mai ușor de interpretat când știi ce sarcini ar putea intra în calcul. În tabelul public al sarcinilor gold din GDPval, fiecare dintre cele 44 de ocupații pornește cu cinci sarcini. Dar o comparație care necesită un fișier de referință al expertului listat nu poate folosi în același fel fiecare rând din tabel: 35 dintre cele 220 de rânduri au o listă deliverable_files goală.

Acest total este deja documentat de implementarea GDPval din gbench. Am numărat cum sunt distribuite aceste liste goale pe sectoare și ocupații în același instantaneu GDPval fixat la o revizie. Toate cele 44 de ocupații au în continuare cel puțin un rând cu un fișier listat. Dar distribuția rămasă nu mai este la fel de uniformă ca în tabelul inițial.

Pentru ce sarcini este listat un fișier de referință pregătit de un expert?

Aceste numărători indică doar dacă tabelul listează cel puțin o cale către un livrabil al expertului. O cale listată nu dovedește că fișierul este accesibil sau poate fi redat. O listă goală nu stabilește dacă există o referință în afara acestui tabel.

SectorRânduri în tabelul public goldCu un livrabil listatCu o listă goală
Finanțe și asigurări25178
Administrație publică25223
Sănătate și asistență socială25223
Informații251411
Industrie prelucrătoare25250
Servicii profesionale, științifice și tehnice25241
Tranzacții imobiliare și închirieri25205
Comerț cu amănuntul20164
Comerț cu ridicata25250
Total22018535
Rânduri cu un livrabil al expertului listat, pe sector
Vezi figura la dimensiune completă

Barele arată prezența în listă, nu accesul verificat la fișiere sau posibilitatea de a le reda.

Tabelul conține 44 de grupuri ocupație-sector, fiecare cu câte cinci sarcini. Dintre acestea, 22 păstrează toate cele cinci rânduri la această verificare, iar 22 păstrează între două și patru. Fiecare ocupație este în continuare prezentă, dar simpla prezență nu mai înseamnă că toate au același număr de sarcini.

Diferența dintre sectoare este utilă la interpretarea unui rezultat agregat. Sectoarele informații și industrie prelucrătoare reprezintă fiecare câte 25 dintre cele 220 de rânduri inițiale, adică 11,4%. Într-un rezultat agregat ipotetic, cu ponderi egale pe sarcină, calculat exact pentru cele 185 de rânduri cu fișiere listate, sectorului informații i-ar reveni 14/185, adică 7,6%, iar industriei prelucrătoare 25/185, adică 13,5%. Acestea sunt ponderi ale sarcinilor, nu scoruri ale modelelor sau estimări ale valorii diferitelor ocupații.

Poate sistemul de evaluare să citească fișierele de referință?

Calculul pentru cele 185 de rânduri nu reprezintă numitorul final folosit de gbench pentru scor. Documentația sa descrie alte patru sarcini ale căror livrabile listate nu pot fi redate ca text, rămânând astfel 181 de sarcini cu referințe care pot fi redate la acel instantaneu. Nu am redat independent acele fișiere și nu am rulat gbench.

Chiar și fără să știm în ce sectoare se află cele patru sarcini, numărătorile stabilesc limite utile pentru setul documentat de sarcini cu referințe care pot fi redate. Dacă acestea sunt patru rânduri distincte dintre cele 185 cu fișiere listate, rămân cel puțin 21 de rânduri în industria prelucrătoare și cel mult 14 în sectorul informații. Cu ponderi egale pe sarcină, aceste limite sunt de 21/181 (11,6%) și, respectiv, 14/181 (7,7%). O rulare efectivă poate avea un alt numitor pentru calculul scorului, deoarece contează și eșecurile de generare, eșecurile evaluatorului și numărul de încercări pentru fiecare sarcină. Aceste numărători nu descriu rezultatele originale OpenAI evaluate de oameni.

Alte metode de evaluare au cerințe diferite. În modul de evaluare după rubrică documentat de NeMo Gym la commitul 5d6429f, un evaluator LLM notează un livrabil candidat pe baza rubricii sarcinii. Codul de pregătire nu copiază lista deliverable_files a rezultatelor experților, în timp ce verificatorul rubricii raportează missing_rubric dacă ambele câmpuri ale rubricii sunt goale. Orice fișiere de intrare listate pentru sarcină trebuie pregătite, iar un rezultat candidat și un evaluator sunt în continuare necesare; apelul de pregătire nu fixează o revizie a setului de date. Nu am rulat NeMo Gym și nu i-am măsurat acoperirea. Scorul său bazat pe rubrică și rata de victorii sau egaluri din gbench sunt măsuri diferite.

Ce poate vedea evaluatorul

Disponibilitatea referinței este doar o parte a comparației. Documentația gbench arată deja că 32 dintre cele 220 de rubrici depășesc limita implicită de 8.000 de caractere pentru rubrici. Formatatorul păstrează criteriile întregi în ordinea originală până când următorul ar depăși limita, apoi adaugă un marcaj de trunchiere; dacă primul criteriu depășește singur limita, afișează doar o parte din el. Numărul de caractere nu este același cu numărul de tokenuri.

Am aplicat acel formatator fixat la o revizie asupra tabelului de sarcini. Dintre cele 185 de rânduri cu un livrabil al expertului listat, 26 de rubrici ar fi trunchiate la limita implicită, fiind omise în total 247 de criterii întregi din aceste rânduri. Un livrabil listat nu poate fi neapărat redat, iar generările eșuate sau goale pot împiedica apelarea evaluatorului, așa că acestea nu sunt numărători ale comparațiilor evaluate. Ca exemplu, schimbarea doar a limitei formatatorului la 12.000 sau 16.000 de caractere ar duce la trunchierea a două, respectiv zero dintre cele 185 de rubrici. Nu am testat aceste setări cu un sistem de evaluare sau cu un evaluator. Numărul criteriilor omise nu stabilește importanța lor sau dacă verdictul s-ar schimba; o limită mai mare poate lăsa mai puțin spațiu pentru restul unei ferestre de context fixe. Examinează informațiile despre trunchiere înregistrate de rularea efectivă împreună cu numărul de referințe și de sarcini evaluate.

Verificarea rubricilor reproduce aceste numărători cu DuckDB 1.4.4. Descarcă temporar tabelul complet al sarcinilor fixat la o revizie și procesează textul rubricilor în memorie; rezultatul păstrează numărători agregate, nu ID-uri de sarcini sau textul rubricilor. Elimină tabelul temporar după o rulare normală. Execută doar formatatorul din gbench inspectat și verificat prin hash, într-un spațiu de nume restricționat, care nu este un sandbox de securitate. Arhiva include licența și notificarea din sursa originală. După configurarea DuckDB de mai jos, folosește Python 3.11 pentru a crea mediul, a descărca arhiva și a rula pe macOS sau Linux:

unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json

Documentează parcursul de la sarcini la scoruri

Când configurezi sau compari o evaluare, înregistrează revizia setului de date, tipul de referință necesar și fiecare regulă de eligibilitate. Raportează numărătorile pe grupuri în tabelul inițial, după verificarea referințelor și după evaluare. Păstrează separat motivele pentru o referință nelistată, o referință care nu poate fi citită, o generare eșuată și un verdict inutilizabil al evaluatorului. Altfel, un singur rezultat agregat poate ascunde sarcinile care nu au mai contribuit.

Precizează și cum sunt ponderate sarcinile și încercările rămase. Ponderarea egală pe sarcină, pe ocupație și pe încercare răspunde la întrebări diferite atunci când numărul acestora diferă. Niciuna nu înlocuiește de la sine dovezile lipsă; rezultatul agregat potrivit depinde de ceea ce urmărește să măsoare evaluarea.

Pentru un set de sarcini pe care îl concepi chiar tu, ghidul de evaluare a agenților arată cum să definești verificări observabile și să interpretezi încercările repetate.

Notează versiunea exactă a fiecărui fișier de intrare

Un tabel de sarcini fixat la o revizie nu fixează neapărat și fiecare fișier pe care îl descarcă un sistem de evaluare. Într-un tabel public GDPval anterior, la revizia 4bf6426, 122 dintre cele 220 de rânduri de sarcini listează fișiere de intrare. Toate cele 262 de URL-uri de intrare listate indică spre ramura main a depozitului, care se poate schimba. Metadatele furnizorului arată că 62 dintre aceleași căi aveau dimensiuni și ID-uri de blob diferite la revizia 11e7900; aceste 62 de căi apar în 20 dintre rândurile tabelului anterior. Acestea sunt date de intrare ale sarcinilor, distincte de rezultatele de referință ale experților din deliverable_files, numărate mai sus.

Acest lucru nu arată că o anumită evaluare a folosit date de intrare modificate, că un fișier este corupt sau că s-a schimbat un scor. Arată însă de ce accesarea ulterioară a URL-urilor schimbătoare dintr-un tabel salvat poate selecta o altă versiune a unui fișier de intrare. Nu am analizat conținutul fișierelor de intrare.

La commitul 5c092d5 din Inspect Evals, încărcătorul GDPval fixează tabelul de sarcini la revizia a3848a2. Acel tabel este identic la nivel de octeți cu tabelul anterior de mai sus, iar metadatele furnizorului pentru fișierele de intrare coincid și ele. Încărcătorul transformă perechile de URL-uri din tabel în asocieri de fișiere pentru exemple; documentația Inspect arată că aceste asocieri pot folosi URL-uri. Prin urmare, această cale din codul sursă poate transmite URL-uri schimbătoare alături de un tabel fixat. Nu am testat descărcările sau stocarea în cache a fișierelor de către Inspect și nu am stabilit ce a folosit vreo rulare.

Un sistem de evaluare poate, în schimb, să rezolve căile relative la setul de date folosind aceeași revizie imutabilă ca tabelul său. Implementarea gbench inspectată aici furnizează explicit revizia fixată atunci când preia fișierele atașate. Înregistrează revizia și, unde este posibil, verifică fișierele folosite efectiv. Documentația Hugging Face pentru descărcare explică cum să rezolvi o revizie schimbătoare la un commit pentru descărcări consecvente.

Scriptul de analiză a URL-urilor de intrare reproduce numărătorile folosind DuckDB 1.4.4. Descarcă temporar tabelul anterior de sarcini, îl elimină după o rulare normală și nu păstrează în rezultat textul sarcinilor, ID-uri individuale, căi de intrare sau conținutul fișierelor de intrare. Un indicator opțional verifică antetele răspunsului pentru o cale și revizia curentă main; rezultatul se poate schimba pe măsură ce main avansează. Pentru această verificare, scriptul trimite numai cereri HEAD, inclusiv prin redirecționări, iar rezultatele indisponibile rămân neobservate. Verificările cu biblioteca standard Python compară tabelul și metadatele fixate de Inspect și inspectează codul sursă al încărcătorului fixat la o revizie, fără să îl execute. Verificarea hashului tabelului citește întregul tabel în memorie, dar nu analizează și nu păstrează conținutul sarcinilor. Scripturile nu solicită corpul fișierelor de intrare.

După configurarea DuckDB de mai jos, rulează verificările pe macOS sau Linux cu:

.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py

Cum am numărat

Pentru recensământul disponibilității referințelor, am inspectat tabelul Parquet train de la revizia GDPval 11e7900cdcac61bc4daf59e65feb238acda98fbf, am verificat existența a 220 de ID-uri distincte de sarcini și am grupat doar sectorul, ocupația și lungimea fiecărei liste deliverable_files. Scriptul de analiză verifică hashul sursei și reproduce numărătorile folosind DuckDB 1.4.4. Descarcă temporar tabelul complet și îl elimină după o rulare normală; rezultatul nu păstrează prompturi, rubrici, ID-uri individuale de sarcini, căi către livrabile sau livrabile. Nu a fost rulat niciun model, benchmark sau instrument de redare a referințelor.

Pentru a reproduce local pe macOS sau Linux cu Python 3.9 sau o versiune ulterioară, asigură-te că python3 selectează acea versiune:

python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json

sapien1 pune aceste scripturi la dispoziție pentru descărcare și rulare locală; nu este specificată nicio licență suplimentară pentru modificarea sau redistribuirea lor. Termenii setului de date sursă sunt separați.

OpenAI descrie subsetul gold de 220 de sarcini ca fiind publicat ca sursă deschisă. Fișa setului de date fixată la o revizie conține un marcaj canary pentru benchmark și nu are un câmp de licență; verifică termenii aplicabili propriei utilizări, fără a-i deduce dintr-o etichetă a fișei sau din această numărătoare. Denumirile sectoarelor și ocupațiilor, precum și benchmarkul, rămân atribuite sursei lor.