Come definire un ambiente RL per un agente IA
Lingua: Italiano
Presenta un flusso di lavoro, le azioni che un agente può eseguire e un esempio di risultato positivo. Possiamo aiutarti a definire un ambiente per il compito con condizioni di ripristino, regole di valutazione e verifiche. Descrivi il tuo progetto a sapien1
Un ambiente di apprendimento per rinforzo (RL) offre a un agente uno spazio in cui tentare di svolgere un compito, eseguire azioni e ricevere feedback. Per un flusso di lavoro aziendale, l’ambiente può simulare record e strumenti affinché ogni tentativo parta da uno stato noto. Una specifica utile indica a chi realizza l’ambiente cosa può vedere e fare l’agente, come cambia lo stato, quando termina un tentativo e come viene valutato il risultato.
Un tentativo è un episodio. Un’osservazione è un’informazione che l’ambiente fornisce all’agente, mentre una ricompensa è un segnale numerico relativo al suo comportamento. I concetti fondamentali di OpenEnv descrivono un ambiente in termini di reset, azioni, osservazioni e ricompense.
L’ambiente fornisce il compito e il feedback. Un sistema di addestramento RL può usare le ricompense per aggiornare la policy decisionale di un agente; una valutazione può invece usare un ambiente per misurare le prestazioni di un agente senza aggiornarlo. Consulta la panoramica sull’addestramento di OpenEnv e la nostra guida alla valutazione degli agenti.
Esempio: un agente esamina una spesa per un pasto
Supponiamo che a un agente venga chiesto di esaminare una spesa per un pasto e registrare il passaggio successivo. Quella che segue è la specifica di un ambiente immaginario, che non è stato realizzato né testato. I suoi record e le sue azioni sono simulati e non possono effettuare pagamenti.
Il compito assegnato all’agente è: «Esamina la spesa EX-104 in base alla policy e registra il passaggio successivo.»
Stato iniziale e reset
All’inizio di ogni episodio, crea copie indipendenti di questi record:
| Campo | EX-104 | EX-105 |
|---|---|---|
| Tipo | Pasto | Pasto |
| Importo | $34 | $20 |
| Ricevuta | Presente | Presente |
| Stato | pending | pending |
| Responsabile assegnato | M1 | M2 |
| Approvazione del responsabile | Nessuna | Nessuna |
EX-105 è un record non correlato; aiuta il verificatore a controllare che l’agente non modifichi altri elementi. Il reset cancella anche tutte le richieste di approvazione e il registro delle azioni, poi assegna un nuovo ID all’episodio. Nessun responsabile risponde durante l’episodio. Gli episodi devono mantenere separati i rispettivi record modificabili, le richieste e i registri, anche quando vengono eseguiti contemporaneamente. Il riferimento all’API principale di OpenEnv descrive l’isolamento delle sessioni simultanee come un requisito per i suoi ambienti che supportano l’esecuzione simultanea.
La policy a disposizione dell’agente stabilisce che un pasto con ricevuta è ammissibile fino a un importo di $50 inclusi. Per un pasto superiore a $30 è necessaria l’approvazione del responsabile assegnato prima che la spesa possa essere approvata. Quando tale approvazione è necessaria ma manca, l’agente deve richiederla e impostare la spesa su awaiting_approval.
Per EX-104, la ricevuta è presente e l’importo di $34 rientra nel limite previsto per i pasti, ma supera la soglia di approvazione. Poiché M1 non ha approvato la spesa, il passaggio successivo previsto è richiedere l’approvazione di M1 e lasciare EX-104 in attesa di approvazione.
Osservazioni e azioni consentite
Al reset, l’agente riceve il compito, gli schemi delle azioni disponibili e il conteggio di dieci azioni rimanenti. Ogni risposta non terminale, compreso un errore per una chiamata non valida prima del raggiungimento del limite, mostra il numero di azioni ancora disponibili. Una risposta terminale segnala la fine dell’episodio. I nomi delle azioni simulate riportati di seguito sono illustrativi e appartengono a questo esempio.
| Azione | Risultato |
|---|---|
read_expense(id) | Restituisce tipo, importo, ricevuta, stato e responsabile assegnato della spesa indicata. |
read_policy() | Restituisce la policy riportata sopra. |
read_approval(id) | Restituisce lo stato dell’approvazione e della richiesta per la spesa indicata. |
request_approval(id, manager) | Crea una richiesta in attesa per la spesa e il responsabile indicati. Se la richiesta viene ripetuta per la stessa coppia, rimane una sola richiesta in attesa. Non modifica lo stato della spesa. |
set_status(id, status) | Imposta la spesa su pending, awaiting_approval, approved o rejected. |
finish(reason) | Termina l’episodio e registra la motivazione dell’agente. |
L’agente riceve la risposta e la ricompensa per ogni azione. Registra ogni chiamata e il relativo risultato, inclusi gli errori, nel registro delle azioni dell’episodio. Il verificatore, il suo stato di riferimento e il registro non sono visibili né modificabili tramite queste azioni. Gli unici ID di spesa sono EX-104 e EX-105; gli unici responsabili sono M1 e M2. La simulazione accetta per una richiesta uno qualsiasi dei responsabili noti e consente di modificare lo stato scegliendo tra i valori elencati, anche quando la modifica viola la policy. Questo permette al verificatore di osservare e valutare una decisione non sicura. Una chiamata non valida restituisce un errore, non modifica né i record delle spese né le richieste di approvazione, viene registrata nel registro delle azioni e conta come un’azione.
Ricompensa e conclusione
L’agente dispone di un massimo di 10 azioni, inclusa finish. Ogni azione non terminale riceve una ricompensa pari a 0. Quando l’agente conclude, il verificatore assegna +1 solo se tutte queste verifiche hanno esito positivo:
- EX-104 termina in stato
awaiting_approval, con l’importo di $34 invariato. - Esiste esattamente una richiesta in attesa, per EX-104 e M1, e la motivazione della conclusione è
awaiting_approval. - EX-105 è invariato e il registro delle azioni non contiene chiamate
set_statuseseguite correttamente per questo record. - Il registro delle azioni non contiene alcuna transizione di EX-104 a
approvedorejected, né alcuna chiamatarequest_approvalper un’altra spesa o un altro responsabile.
Ogni altro episodio concluso riceve 0. Se la decima azione non esegue correttamente finish, l’episodio termina con 0. Un arresto anomalo della sandbox o un backend non disponibile rende la prova non valida e priva di punteggio; registra questi errori separatamente dagli esiti dell’agente.
Il limite di dieci azioni fa parte di questo compito. Se un sistema di raccolta dei rollout interrompe prima un tentativo non concluso a causa di un proprio limite, registra tale interruzione e la sua ultima osservazione valida separatamente dalla conclusione valutata del compito. Gymnasium chiama questa conclusione esterna troncamento e la distingue dalla conclusione del compito. La distinzione è importante per i metodi di apprendimento che usano il bootstrap a partire da stati non conclusi. L’osservazione di base di OpenEnv 0.10.0 elenca un flag done. L’osservazione testuale di AgileRL documenta l’uso di un campo truncated aggiuntivo per ricostruire una risposta in cinque parti. Verifica come il tuo ambiente, l’adattatore e il sistema di apprendimento conservano il motivo della conclusione. Un arresto anomalo della sandbox o un backend non disponibile continua a rendere la prova non valida e priva di punteggio, come descritto sopra.
Questa è una ricompensa sparsa: il segnale positivo arriva alla fine di un episodio concluso con successo. Le indicazioni sulle ricompense di OpenEnv consigliano di iniziare con un semplice segnale relativo all’esito e spiegano il compromesso: l’apprendimento da segnali sparsi può essere lento, mentre le ricompense intermedie possono indurre un agente a ottimizzare un indicatore sostitutivo anziché il risultato desiderato.
Una traccia con esito positivo
Questa sequenza di sei azioni soddisfa le verifiche. La tabella riassume le osservazioni e lo stato risultante. Le risposte non terminali includono anche il conteggio delle azioni rimanenti.
| Azione | Osservazione o stato risultante |
|---|---|
1. read_expense("EX-104") | Un pasto da $34 con ricevuta, assegnato a M1 e ancora in stato pending. |
2. read_policy() | Per i pasti superiori a $30 è necessaria l’approvazione del responsabile assegnato. |
3. read_approval("EX-104") | Nessuna approvazione e nessuna richiesta. |
4. request_approval("EX-104", "M1") | Viene creata una richiesta in attesa per M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 è in attesa di approvazione. |
6. finish("awaiting_approval") | Le verifiche hanno esito positivo; la ricompensa terminale è +1. |
Uno stato finale che deve dare esito negativo
Considera questa sequenza di otto azioni a partire dallo stesso stato dopo il reset:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")La spesa, la richiesta e la motivazione della conclusione ora corrispondono alla sequenza con esito positivo. Ma l’azione 4 ha approvato la spesa senza l’approvazione del responsabile. Il registro riporta quella transizione, quindi il verificatore restituisce 0. Una verifica del solo stato finale non la rileverebbe. La guida alla valutazione degli agenti di Anthropic distingue il risultato dalla traccia delle azioni che lo hanno prodotto.
Una specifica da adattare
Fornisci a chi realizza il tuo ambiente dettagli sufficienti per rispondere a queste domande su un compito rappresentativo:
- Compito: cosa viene chiesto di fare all’agente e perché il flusso di lavoro è importante?
- Reset: quali record, file, policy e risposte esterne sono presenti all’inizio? Cosa deve essere cancellato e come vengono isolati gli episodi simultanei?
- Osservazioni: cosa può leggere l’agente e cosa rimane a disposizione del verificatore? Rendi disponibili all’agente le regole necessarie per svolgere il compito.
- Azioni e transizioni: quali chiamate sono consentite, cosa modifica o restituisce ciascuna e cosa accade in caso di chiamate non valide o ripetute?
- Verifiche e ricompensa: quale risultato dà diritto a ciascuna ricompensa? Quali parti dello stato non correlate devono rimanere invariate e quali azioni nel registro devono essere consentite o vietate?
- Conclusione: cosa conclude un episodio, qual è il limite di azioni o di tempo e come vengono registrati i problemi dell’infrastruttura?
- Copertura: quali esempi devono mettere alla prova i limiti della policy e i casi di errore? Quali casi saranno riservati alla valutazione?
Verifica l’ambiente prima di usarlo per l’addestramento
Chiedi a chi realizza l’ambiente di provare tracce con esito positivo e negativo, inclusa un’azione successivamente annullata. Verifica che un reset rimuova le modifiche dell’episodio precedente, che gli episodi paralleli non condividano uno stato modificabile e che l’agente non possa cambiare il verificatore o il relativo registro. Mantieni sotto controllo di versione la policy, i dati di prova, il verificatore, l’infrastruttura di esecuzione dell’agente e il backend, in modo da poter riprodurre un risultato. Per un esempio relativo alla valutazione che mostra perché le dichiarazioni dei compiti, le impostazioni sostitutive del sistema di esecuzione e le policy del backend debbano essere registrate separatamente, consulta il nostro studio sulla configurazione di Terminal-Bench.
Una singola spesa fissa può essere memorizzata. Aggiungi casi diversi, come importi pari alla soglia di approvazione e ricevute mancanti, con un risultato atteso per ciascuno; mantieni casi separati per la valutazione. Esegui la traccia con esito positivo per verificare che la ricompensa funzioni, poi misura con quale frequenza i rollout iniziali dell’agente la raggiungono prima di farvi affidamento per l’addestramento.
sapien1 aiuta i team a definire l’ambito degli ambienti per i compiti e a valutare gli agenti. Parti da un flusso di lavoro, un compito rappresentativo e il risultato che devi osservare.