Cum specifici un mediu RL pentru un agent AI
Limbă: Română
Prezintă un flux de lucru, acțiunile pe care le poate întreprinde un agent și un exemplu de rezultat reușit. Te putem ajuta să definești un mediu de lucru pentru sarcină, cu condiții de resetare, reguli de evaluare și verificări. Descrie proiectul tău echipei sapien1
Un mediu de învățare prin recompensă (RL) îi oferă unui agent un loc în care poate încerca să îndeplinească o sarcină, poate efectua acțiuni și poate primi feedback. Pentru un flux de lucru de business, mediul poate simula înregistrări și instrumente, astfel încât fiecare încercare să pornească dintr-o stare cunoscută. O specificație utilă îi spune celui care construiește mediul ce poate vedea și face agentul, cum se schimbă starea, când se încheie o încercare și cum este punctat rezultatul.
O încercare este un episod. O observație este o informație pe care mediul i-o oferă agentului, iar o recompensă este un semnal numeric despre comportamentul său. Conceptele de bază ale OpenEnv descriu un mediu în termeni de resetare, acțiuni, observații și recompense.
Mediul furnizează sarcina și feedbackul. Un sistem de antrenare RL poate folosi recompensele pentru a actualiza politica de luare a deciziilor a unui agent; o evaluare poate folosi, în schimb, un mediu pentru a măsura performanța unui agent fără a-l actualiza. Consultă prezentarea antrenării în OpenEnv și ghidul nostru pentru evaluarea agenților.
Exemplu: un agent verifică o cheltuială pentru masă
Să presupunem că unui agent i se cere să verifice o cheltuială pentru masă și să înregistreze următorul pas. Specificația de mediu de mai jos este fictivă; mediul nu a fost construit sau testat. Înregistrările și acțiunile sale sunt simulate și nu pot efectua plăți.
Sarcina dată agentului este: „Verifică cheltuiala EX-104 conform politicii și înregistrează următorul pas.”
Starea inițială și resetarea
La începutul fiecărui episod, creează copii independente ale acestor înregistrări:
| Câmp | EX-104 | EX-105 |
|---|---|---|
| Tip | Masă | Masă |
| Sumă | $34 | $20 |
| Bon | Prezent | Prezent |
| Stare | pending | pending |
| Manager desemnat | M1 | M2 |
| Aprobarea managerului | Niciuna | Niciuna |
EX-105 este o înregistrare fără legătură cu sarcina; îl ajută pe verificator să controleze dacă agentul lasă neatinse celelalte lucrări. Resetarea șterge și toate cererile de aprobare și jurnalul acțiunilor, apoi atribuie un ID nou episodului. Niciun manager nu răspunde în timpul episodului. Episoadele trebuie să își păstreze separat înregistrările modificabile, cererile și jurnalele, inclusiv atunci când rulează simultan. Referința API de bază a OpenEnv descrie izolarea sesiunilor concurente ca cerință pentru mediile sale concurente.
Politica pusă la dispoziția agentului prevede că o cheltuială pentru masă însoțită de bon este eligibilă până la 50 USD inclusiv. O cheltuială pentru masă mai mare de 30 USD necesită aprobarea managerului desemnat înainte de a putea fi aprobată. Când această aprobare este necesară, dar lipsește, agentul trebuie să o solicite și să seteze cheltuiala la awaiting_approval.
Pentru EX-104, bonul este prezent și suma de 34 USD se încadrează în limita pentru masă, dar depășește pragul de aprobare. Deoarece M1 nu a aprobat-o, următorul pas așteptat este solicitarea aprobării lui M1 și lăsarea cheltuielii EX-104 în așteptarea aprobării.
Observații și acțiuni permise
La resetare, agentul primește sarcina, schemele acțiunilor disponibile și numărul de acțiuni rămase: zece. Fiecare răspuns care nu încheie episodul, inclusiv o eroare de apel nevalid înainte de atingerea limitei, indică numărul de acțiuni încă disponibile. Un răspuns terminal marchează încheierea episodului. Numele acțiunilor simulate de mai jos sunt ilustrative și aparțin acestui exemplu.
| Acțiune | Rezultat |
|---|---|
read_expense(id) | Returnează tipul, suma, bonul, starea și managerul desemnat ale cheltuielii indicate. |
read_policy() | Returnează politica de mai sus. |
read_approval(id) | Returnează starea aprobării și a cererii pentru cheltuiala indicată. |
request_approval(id, manager) | Creează o cerere în așteptare pentru cheltuiala și managerul indicate. O cerere repetată pentru aceeași pereche lasă o singură cerere în așteptare. Nu schimbă starea cheltuielii. |
set_status(id, status) | Setează cheltuiala la pending, awaiting_approval, approved sau rejected. |
finish(reason) | Încheie episodul și înregistrează motivul oferit de agent. |
Agentul primește răspunsul și recompensa pentru fiecare acțiune. Înregistrează fiecare apel și rezultatul său, inclusiv erorile, în jurnalul acțiunilor episodului. Verificatorul, starea sa de referință și jurnalul nu sunt vizibile și nici nu pot fi editate prin aceste acțiuni. Singurele ID-uri de cheltuieli sunt EX-104 și EX-105; singurii manageri sunt M1 și M2. Simularea acceptă oricare dintre cei doi manageri cunoscuți pentru o cerere și permite schimbarea stării între valorile enumerate, chiar și atunci când o schimbare încalcă politica. Astfel, verificatorul poate observa și puncta o decizie nesigură. Un apel nevalid returnează o eroare, nu modifică nici înregistrările cheltuielilor, nici cererile de aprobare, este înregistrat în jurnalul acțiunilor și contează ca acțiune.
Recompensă și încheiere
Agentul are la dispoziție cel mult 10 acțiuni, inclusiv finish. Fiecare acțiune care nu încheie episodul primește o recompensă de 0. Când agentul încheie episodul, verificatorul acordă +1 numai dacă toate aceste verificări sunt îndeplinite:
- EX-104 se încheie în starea
awaiting_approval, cu suma de 34 USD neschimbată. - Există exact o cerere în așteptare, pentru EX-104 și M1, iar motivul încheierii este
awaiting_approval. - EX-105 este neschimbată, iar jurnalul acțiunilor nu conține niciun apel
set_statusreușit pentru aceasta. - Jurnalul acțiunilor nu conține nicio tranziție a EX-104 la
approvedsaurejectedși niciun apelrequest_approvalpentru o altă cheltuială sau un alt manager.
Orice alt episod încheiat primește 0. Dacă a zecea acțiune nu execută cu succes finish, episodul se încheie cu 0. O cădere a sandboxului sau indisponibilitatea backendului face ca încercarea să fie nevalidă și fără punctaj; înregistrează aceste defecțiuni separat de rezultatele agentului.
Limita de zece acțiuni face parte din această sarcină. Dacă un colector de rollout-uri oprește mai devreme o încercare neîncheiată din cauza propriei limite, înregistrează această întrerupere și ultima sa observație validă separat de încheierea punctată a unei sarcini. Gymnasium numește această încheiere externă trunchiere și o deosebește de încheierea sarcinii. Distincția contează pentru metodele de învățare care estimează valori pornind de la stări neîncheiate. Observația de bază din OpenEnv 0.10.0 include un indicator done. Observația text din AgileRL documentează transmiterea unui câmp suplimentar truncated pentru a reconstrui un răspuns în cinci părți. Verifică modul în care mediul, adaptorul și sistemul tău de învățare păstrează motivul încheierii. O cădere a sandboxului sau indisponibilitatea backendului rămâne un caz nevalid și fără punctaj, după cum este descris mai sus.
Aceasta este o recompensă rară: semnalul pozitiv apare la sfârșitul unui episod reușit. Recomandările OpenEnv privind recompensele sugerează să începi cu un semnal simplu pentru rezultat și explică compromisul: învățarea din semnale rare poate fi lentă, în timp ce recompensele intermediare pot încuraja un agent să optimizeze un indicator substitutiv în locul rezultatului dorit.
O secvență care trece verificările
Această secvență de șase acțiuni îndeplinește verificările. Tabelul rezumă observațiile și starea rezultată. Răspunsurile care nu încheie episodul includ și numărul de acțiuni rămase.
| Acțiune | Observație sau stare rezultată |
|---|---|
1. read_expense("EX-104") | O cheltuială pentru masă de 34 USD, cu bon, atribuită lui M1 și încă în starea pending. |
2. read_policy() | Cheltuielile pentru masă de peste 30 USD necesită aprobarea managerului desemnat. |
3. read_approval("EX-104") | Nicio aprobare și nicio cerere. |
4. request_approval("EX-104", "M1") | Este creată o cerere în așteptare pentru M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 așteaptă aprobarea. |
6. finish("awaiting_approval") | Verificările sunt îndeplinite; recompensa terminală este +1. |
O stare finală care ar trebui să nu treacă verificările
Să luăm în considerare această secvență de opt acțiuni, pornind de la aceeași stare de resetare:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Cheltuiala, cererea și motivul încheierii corespund acum secvenței care trece verificările. Dar acțiunea 4 a aprobat cheltuiala fără aprobarea managerului. Jurnalul înregistrează acea tranziție, așa că verificatorul returnează 0. O verificare doar a stării finale nu ar detecta-o. Ghidul Anthropic pentru evaluarea agenților distinge rezultatul de secvența acțiunilor care l-au produs.
O specificație pe care să o adaptezi
Oferă-i celui care construiește mediul suficiente detalii pentru a răspunde la aceste întrebări pentru o sarcină reprezentativă:
- Sarcină: Ce i se cere agentului să facă și de ce contează fluxul de lucru?
- Resetare: Ce înregistrări, fișiere, politici și răspunsuri externe există la început? Ce trebuie șters și cum sunt izolate episoadele simultane?
- Observații: Ce poate citi agentul și ce rămâne la verificator? Pune-i agentului la dispoziție regulile necesare pentru îndeplinirea sarcinii.
- Acțiuni și tranziții: Ce apeluri sunt permise, ce schimbă sau returnează fiecare și ce se întâmplă în cazul apelurilor nevalide sau repetate?
- Verificări și recompensă: Ce rezultat aduce fiecare recompensă? Ce stare fără legătură cu sarcina trebuie să rămână neschimbată și ce acțiuni din jurnal trebuie să fie permise sau interzise?
- Încheiere: Ce încheie un episod, care este limita de acțiuni sau de timp și cum sunt înregistrate defecțiunile infrastructurii?
- Acoperire: Ce exemple ar trebui să testeze limitele politicii și cazurile de eșec? Ce cazuri vor fi păstrate separat pentru evaluare?
Verifică mediul înainte de a-l folosi pentru antrenare
Cere-i celui care construiește mediul să testeze secvențe care trec și care nu trec verificările, inclusiv o acțiune anulată ulterior. Verifică dacă resetarea elimină modificările episodului anterior, dacă episoadele paralele nu partajează stare modificabilă și dacă agentul nu poate schimba verificatorul sau jurnalul acestuia. Păstrează politica, datele de test, verificatorul, infrastructura de rulare a agentului și backendul sub controlul versiunilor, astfel încât un rezultat să poată fi reprodus. Pentru un exemplu de evaluare care arată de ce declarațiile sarcinilor, suprascrierile sistemului de rulare și politicile backendului ar trebui înregistrate separat, consultă studiul nostru despre configurarea Terminal-Bench.
O singură cheltuială fixă poate fi memorată. Adaugă cazuri variate, cum ar fi sume la pragul de aprobare și bonuri lipsă, cu un rezultat așteptat pentru fiecare; păstrează cazuri separate pentru evaluare. Rulează secvența care trece verificările pentru a confirma că recompensa funcționează, apoi măsoară cât de des o obțin rollout-urile inițiale ale agentului înainte de a te baza pe ea pentru antrenare.
sapien1 ajută echipele să definească mediile de sarcini și să evalueze agenți. Începe cu un flux de lucru, o sarcină reprezentativă și rezultatul pe care trebuie să îl observi.