Evaluați un agent AI pe baza sarcinilor pe care trebuie să le îndeplinească
Limba paginii: Română
Prezintă o sarcină reprezentativă și rezultatul pe care ar trebui să îl obțină agentul tău. Putem defini un test cu verificări explicite și un raport al rulărilor care au trecut testul, al celor care au eșuat și al celor care nu au fost evaluate. Descrie proiectul tău echipei sapien1
Evaluarea unui agent AI verifică dacă acesta poate îndeplini o sarcină cu informațiile, instrumentele și constrângerile pe care le va întâlni în practică. Definiți rezultatul așteptat, verificați ce s-a schimbat și examinați pașii care au dus la rezultat.
sapien1 ajută echipele să delimiteze seturile de sarcini, să analizeze datele de evaluare și să dezvolte medii pentru testarea agenților. Începeți cu un singur flux de lucru și cu decizia pe care trebuie să o susțină evaluarea.
Transformați un flux de lucru într-o sarcină testabilă
O sarcină are nevoie de o stare inițială, o solicitare și criterii de succes observabile. Mesajul final al agentului este doar o parte din dovezi. Fișierele produse, înregistrările sau starea instrumentelor pot arăta și ele dacă sarcina a fost îndeplinită.
Ghidul Anthropic pentru evaluarea agenților distinge între sarcină, fiecare încercare, mecanismele de evaluare, urma execuției și rezultatul în mediu. Aceste distincții ajută la stabilirea cauzei unui eșec: agentul, testul sau mediul.
De exemplu, să presupunem că unui agent de asistență i se cere să schimbe o adresă de livrare. Testul îi poate oferi înregistrarea comenzii, solicitarea clientului și politica aplicabilă. Verificările trebuie să reflecte sarcina reală:
| Parte a sarcinii | Exemplu de verificare |
|---|---|
| Identificarea comenzii | Agentul selectează comanda indicată în solicitare |
| Aplicarea politicii | Decizia respectă regulile primite și starea comenzii |
| Efectuarea modificării | Dacă modificarea este permisă, adresa solicitată apare în înregistrarea comenzii. Altfel, adresa rămâne neschimbată. |
| Păstrarea celorlalte date | Articolele, cantitățile și înregistrările fără legătură rămân neschimbate |
| Explicarea rezultatului | Răspunsul descrie corect acțiunea efectuată sau informațiile care mai sunt necesare |
Această specificație este un exemplu. Politica și fluxul dumneavoastră de lucru stabilesc verificările potrivite.
Verificați autorizarea și starea rezultată
Să presupunem că un utilizator autorizează agentul să schimbe adresa comenzii A de la 1 Example Lane la 2 Example Lane. Comanda B are inițial adresa 3 Example Lane și nu este vizată de solicitare. Urma fictivă, pregătită în avans, ilustrează ce ar putea consemna o verificare simulată a autorizării:
| Solicitarea agentului către instrument | Decizia de autorizare | Rezultatul consemnat |
|---|---|---|
| Comanda A: schimbarea adresei la 2 Example Lane | Permisă | Modificare efectuată |
| Comanda B: schimbarea adresei la 4 Example Lane | Respinsă | Modificare blocată |
Urma consemnează solicitarea permisă și solicitarea din afara domeniului autorizat. În exemplu, verificarea stării arată că adresa comenzii A este 2 Example Lane, iar comanda B rămâne la 3 Example Lane. O solicitare respinsă și o modificare efectuată sunt rezultate diferite. Păstrați decizia de autorizare și starea finală împreună cu răspunsul agentului.
Ghidul Anthropic pentru evaluarea agenților distinge urma unei încercări de starea rezultată. Recomandările AWS privind autorizarea instrumentelor explică verificarea solicitărilor adresate instrumentelor de către agent și revizuirea deciziilor de permitere sau respingere. Urma fictivă ilustrează o verificare și nu dovedește că un sistem este sigur.
Construiți un test dintr-un caz rezolvat
Să presupunem că un alt istoric fictiv de asistență cuprinde această succesiune. La 10:00, titularul verificat al comenzii A cere schimbarea adresei comenzii de la 1 Example Lane la 2 Example Lane. Comanda este încă în pregătire pentru expediere. Politica în vigoare prevede efectuarea modificării cerute de titularul verificat înainte de expediere. La 10:05, o notă a echipei de asistență consemnează schimbarea adresei.
Pentru a testa decizia de la 10:00, dați-i agentului solicitarea, starea inițială a comenzii și politica în vigoare atunci. Porniți instrumentele de testare din acea stare. Mențineți comanda în pregătire cât timp agentul acționează. Puneți nota de la 10:05 la dispoziția evaluatorului și excludeți-o din instrucțiunile inițiale ale agentului și din înregistrările accesibile instrumentelor lui în acest test. Altfel, agentul ar putea vedea rezultatul înainte să i se ceară să acționeze.
Politica de la 10:00 îi indică evaluatorului rezultatul așteptat. Adresa finală a comenzii A este 2 Example Lane. Cereți și ca înregistrările fără legătură să rămână neschimbate în acest test. Nota de la 10:05 consemnează rezultatul. Folosiți politica pentru a stabili dacă acțiunea a fost corectă. Dacă nu puteți determina politica aplicabilă sau starea anterioară acțiunii, puneți cazul deoparte pentru examinare. Înainte de a folosi înregistrări reale, confirmați permisiunea de utilizare și tratați corespunzător câmpurile sensibile.
Ghidul Inspect pentru seturi de date distinge datele de intrare trimise modelului de rezultatul de referință care poate fi folosit la evaluare. Ghidul explică și faptul că fișierele unui exemplu pot fi copiate într-un mediu izolat. Verificați instrucțiunile, materialul recuperat, răspunsurile instrumentelor și fișierele din mediul izolat în căutarea informațiilor rezervate evaluatorului. Faceți aceste verificări și atunci când setul de date oferă separat un rezultat de referință.
Alegeți dovezile potrivite pentru decizie
Folosiți verificări directe dacă rezultatul poate fi observat, cum ar fi un câmp modificat, un calcul, un fișier generat sau un test trecut. Folosiți o grilă scrisă când este necesară interpretarea umană, de exemplu pentru a stabili dacă o explicație este clară sau dacă un răspuns de cercetare își susține concluzia.
Un evaluator automat poate ajuta la analiza unui volum mare de rezultate. Comparați-i deciziile cu evaluări umane pe exemple reprezentative înainte de a vă baza pe punctajele sale. Documentați dezacordurile ca să puteți îmbunătăți grila sau evaluatorul.
Verifică dacă un model folosește fragmentul
Înregistrați datele de intrare ale sarcinii, instrumentele, configurația agentului și rezultatele. Repetați încercările când variația dintre rulări contează pentru decizie. Examinați încercările eșuate și succesele neașteptate. Un scor ridicat poate reflecta performanță bună sau poate ascunde un test slab. Ghidul Anthropic tratează aceste aspecte privind mecanismele de evaluare și proiectarea încercărilor.
Verificați identificatorii cazurilor înainte de calcularea scorului
Când construiți un caz din înregistrări anterioare, păstrați identificatorul lui atât în rezultatul așteptat, cât și în rezultatul testului. Înainte de a puncta câte un rezultat pentru fiecare caz, comparați ambele fișiere cu lista identificatorilor așteptați. Fiecare identificator așteptat trebuie să apară o singură dată în fiecare fișier. Rezolvați problemele cu identificatori lipsă, dublați sau neașteptați. În rulările repetate, consemnați și identificatorul fiecărei încercări.
Să presupunem că așteptați cazurile A și B. Ambele fișiere conțin A și un rând fără identificator. Rezultatul așteptat pentru A diferă de rezultatul testului. Cele două rânduri fără identificator au aceeași etichetă. O îmbinare cu pandas poate asocia cheile lipsă chiar dacă verificarea de corespondență unu la unu trece. Numărarea rândurilor îmbinate arată un acord din două perechi. Numai A corespunde unui identificator așteptat. Subsetul identificat are zero acorduri într-un singur caz și acoperă unul dintre cele două cazuri așteptate. Din cauza identificatorilor lipsă, nu se știe dacă vreunul dintre cele două rânduri aparține lui B. Scorul pe ambele cazuri așteptate rămâne deci nedeterminat. Dacă evaluați intenționat un subset, raportați acoperirea împreună cu scorul.
Compararea scorurilor de benchmark
Interpretați încercările repetate în funcție de decizie
Să presupunem că o echipă testează două sarcini de câte trei ori și reface starea inițială înaintea fiecărei încercări. Verificările dau aceste rezultate fictive:
| Sarcină | Prima încercare | A doua încercare | A treia încercare |
|---|---|---|---|
| A | Succes | Eșec | Succes |
| B | Succes | Succes | Eșec |
Patru din șase încercări au reușit. Ambele sarcini au reușit cel puțin o dată, dar niciuna în toate cele trei încercări. Cele două rezumate răspund la întrebări diferite. Un rezultat corect ocazional poate conta când sistemul verifică și alege fiabil dintre mai multe rezultate candidate. Succesul repetat contează atunci când fiecare încercare trebuie să funcționeze independent. O încercare reușită nu le face pe celelalte sigure sau corecte.
Să presupunem acum că o a șaptea încercare se oprește înainte de evaluare din cauza unei întreruperi externe confirmate în mediul izolat. Patru dintre cele șase încercări evaluate au reușit. Din totalul de șapte încercări, patru au avut succes confirmat. Încercarea neevaluată nu este nici un succes confirmat, nici un eșec confirmat al agentului. Prima fracție rezumă încercările evaluate. A doua arată succesele confirmate din toate încercările. Ponderarea sarcinilor sau setările metricii pot schimba rezultatul raportat.
Aceste valori descriu doar verificările fictive de mai sus și nu stabilesc o rată de succes în producție. Înregistrați numărul de sarcini, încercările pe sarcină, verificările folosite și încercările invalidate de probleme de infrastructură, precum întreruperea unui mediu izolat. Raportați separat încercările invalidate și eșecurile agentului și precizați ce încercări include fiecare rezumat. Repetarea unei sarcini poate evidenția variația la sarcina respectivă. Testați și o gamă mai largă de situații. Ghidul Anthropic pentru evaluarea agenților arată cum măsurarea succesului cel puțin o dată și a succesului consecvent sprijină decizii diferite.
Acoperirea sarcinilor se poate schimba înainte de calcularea scorului. În analiza noastră privind acoperirea rezultatelor de referință din GDPval, 185 din cele 220 de rânduri publice cu sarcini indică cel puțin o cale către un livrabil realizat de un expert. Repartizarea pe sectoare a acelor rânduri diferă de cea a tabelului complet. Simplul fapt că o cale este listată nu demonstrează că fișierul este accesibil sau că poate fi afișat.
Folosiți un mediu de test când acțiunile schimbă starea
Dacă agentul modifică înregistrări, operează aplicații sau lucrează cu mai multe instrumente, are nevoie de un loc unde să execute acele acțiuni. Un mediu de test reproductibil vă permite să refaceți starea inițială și să inspectați rezultatul după o rulare.
OpenEnv este un cadru deschis pentru medii izolate destinate agenților. Alegeți cadrul după definirea sarcinii, a informațiilor vizibile agentului, a acțiunilor permise și a modului de verificare a succesului.
Pentru un exemplu de variație a resurselor declarate între sarcini, consultați configurările de resurse pentru 66 de sarcini Terminal-Bench.
Un model pentru prima evaluare
Descrieți fluxul de lucru, o sarcină reprezentativă și cum arată un rezultat reușit. Adăugați instrumentele folosite de agent, informațiile primite și eșecurile care ar schimba decizia privind lansarea. Dacă aveți deja exemple, descrieți sursa și acoperirea acestora.
Un proiect bine delimitat poate stabili apoi setul de sarcini, cerințele mediului, metoda de evaluare și examinarea rezultatelor. Dacă vă lipsesc exemplele, începeți cu identificarea surselor și obținerea datelor.