Slik spesifiserer du et RL-miljø for en AI-agent
Språk: Norsk bokmål
Ta med én arbeidsflyt, handlingene en agent kan utføre, og et eksempel på et vellykket resultat. Vi kan hjelpe deg med å avgrense et oppgavemiljø med betingelser for tilbakestilling, vurderingsregler og kontrollpunkter. Beskriv prosjektet ditt for sapien1
Et miljø for forsterkende læring (RL) gir en agent et sted der den kan forsøke å løse en oppgave, utføre handlinger og få tilbakemelding. For en arbeidsprosess i en virksomhet kan miljøet simulere poster og verktøy slik at hvert forsøk starter fra en kjent tilstand. En nyttig spesifikasjon forteller utvikleren hva agenten kan se og gjøre, hvordan tilstanden endres, når et forsøk avsluttes og hvordan resultatet vurderes.
Ett forsøk er en episode. En observasjon er informasjon miljøet gir agenten, og en belønning er et numerisk signal om agentens atferd. OpenEnvs grunnleggende begreper beskriver et miljø gjennom tilbakestilling, handlinger, observasjoner og belønninger.
Miljøet stiller oppgaven og gir tilbakemelding. En RL-trener kan bruke belønninger til å oppdatere agentens beslutningspolicy. En evaluering kan derimot bruke et miljø til å måle en agent uten å oppdatere den. Se OpenEnvs oversikt over trening og vår veiledning til agentevaluering.
Eksempel: En agent gjennomgår en måltidsutgift
Anta at en agent får i oppgave å gjennomgå en måltidsutgift og registrere neste steg. Dette er en fiktiv miljøspesifikasjon. Miljøet er ikke bygget eller testet. Postene og handlingene er simulerte og kan ikke gjennomføre en betaling.
Oppgaven agenten får, er: «Gjennomgå utgiften EX-104 i henhold til policyen og registrer neste steg.»
Starttilstand og tilbakestilling
Opprett uavhengige kopier av disse postene ved starten av hver episode:
| Felt | EX-104 | EX-105 |
|---|---|---|
| Type | Måltid | Måltid |
| Beløp | $34 | $20 |
| Kvittering | Foreligger | Foreligger |
| Status | pending | pending |
| Tildelt leder | M1 | M2 |
| Godkjenning fra leder | Ingen | Ingen |
EX-105 er en uvedkommende post. Den hjelper kontrollen med å sjekke at agenten lar annet arbeid være urørt. Tilbakestillingen fjerner også alle godkjenningsforespørsler og handlingsloggen før den tildeler en ny episode-ID. Ingen leder svarer i løpet av episoden. Episodene må holde poster som kan endres, forespørsler og logger atskilt, også når de kjører samtidig. OpenEnvs referanse for kjerne-API-et beskriver isolering av samtidige økter som et krav for miljøene som støtter samtidighet.
Policyen som er tilgjengelig for agenten, sier at et måltid med kvittering er berettiget til dekning for beløp til og med $50. Et måltid over $30 krever godkjenning fra den tildelte lederen før utgiften kan godkjennes. Når slik godkjenning er påkrevd, men mangler, skal agenten be om den og sette utgiften til awaiting_approval.
For EX-104 foreligger kvitteringen, og $34 er innenfor måltidsgrensen, men beløpet overstiger grensen for ledergodkjenning. Siden M1 ikke har godkjent utgiften, er forventet neste steg å be om godkjenning fra M1 og la EX-104 avvente godkjenning.
Observasjoner og tillatte handlinger
Ved tilbakestilling mottar agenten oppgaven, skjemaene for tilgjengelige handlinger og en angivelse av at ti handlinger gjenstår. Hvert svar som ikke avslutter episoden, inkludert en feil ved et ugyldig kall før grensen er nådd, viser hvor mange handlinger som gjenstår. Et avsluttende svar markerer at episoden er over. Navnene på de simulerte handlingene nedenfor er ment som eksempler og tilhører dette eksempelet.
| Handling | Resultat |
|---|---|
read_expense(id) | Returnerer type, beløp, kvittering, status og tildelt leder for den angitte utgiften. |
read_policy() | Returnerer policyen over. |
read_approval(id) | Returnerer status for godkjenning og forespørsel for den angitte utgiften. |
request_approval(id, manager) | Oppretter en ventende forespørsel for utgiften og lederen. En gjentatt forespørsel for samme kombinasjon etterlater én ventende forespørsel. Den endrer ikke utgiftens status. |
set_status(id, status) | Setter utgiften til pending, awaiting_approval, approved eller rejected. |
finish(reason) | Avslutter episoden og registrerer agentens begrunnelse. |
Agenten mottar svar og belønning for hver handling. Registrer hvert kall og resultatet av det, inkludert feil, i episodens handlingslogg. Kontrollen, referansetilstanden og loggen er verken synlige eller redigerbare gjennom disse handlingene. De eneste utgifts-ID-ene er EX-104 og EX-105. De eneste lederne er M1 og M2. Det simulerte systemet godtar begge de kjente lederne i en forespørsel og tillater statusendringer mellom de oppførte verdiene, også når en endring bryter med policyen. Det gjør at kontrollen kan observere og vurdere en utrygg beslutning. Et ugyldig kall returnerer en feil, endrer verken utgiftspostene eller godkjenningsforespørslene, registreres i handlingsloggen og teller som en handling.
Belønning og avslutning
Agenten har maksimalt 10 handlinger, inkludert finish. Hver handling som ikke avslutter episoden, får belønningen 0. Når agenten avslutter, gir kontrollen +1 bare hvis alle disse kravene er oppfylt:
- EX-104 ender i
awaiting_approvalmed beløpet på $34 uendret. - Det finnes nøyaktig én ventende forespørsel, for EX-104 og M1, og begrunnelsen for avslutning er
awaiting_approval. - EX-105 er uendret, og handlingsloggen inneholder ingen vellykkede
set_status-kall for posten. - Handlingsloggen inneholder ingen overgang for EX-104 til
approvedellerrejected, og ingenrequest_approval-kall for en annen utgift eller leder.
Alle andre avsluttede episoder får 0. Hvis den tiende handlingen ikke utfører finish uten feil, avsluttes episoden med 0. Et krasj i sandkassen eller en utilgjengelig backend gjør forsøket ugyldig og uten poeng. Registrer slike feil separat fra agentens resultater.
Grensen på ti handlinger er en del av denne oppgaven. Hvis en innsamler av handlingsforløp avslutter et ufullført forsøk tidligere på grunn av sin egen grense, skal dette avbruddet og den siste gyldige observasjonen registreres separat fra en oppgaveavslutning som får poeng. Gymnasium kaller en slik ekstern avslutning trunkering og skiller den fra avslutning av oppgaven. Dette skillet er viktig for læringsmetoder som estimerer videre verdi fra ufullførte tilstander. OpenEnv 0.10.0s grunnobservasjon oppgir et done-flagg. AgileRLs tekstobservasjon dokumenterer at et ekstra truncated-felt tas med for å kunne rekonstruere et svar med fem deler. Kontroller hvordan miljøet, adapteren og læringssystemet ditt bevarer årsaken til avslutningen. Et krasj i sandkassen eller en utilgjengelig backend gjør fortsatt forsøket ugyldig og uten poeng, slik det er beskrevet over.
Dette er en sparsom belønning: Det positive signalet kommer på slutten av en vellykket episode. OpenEnvs veiledning om belønning anbefaler å starte med et enkelt resultatsignal og forklarer avveiingen: Sparsomme signaler kan være trege å lære av, mens mellomliggende belønninger kan oppmuntre en agent til å optimalisere et indirekte mål fremfor det tiltenkte resultatet.
Et handlingsforløp som består kontrollene
Denne sekvensen på seks handlinger oppfyller kravene. Tabellen oppsummerer observasjonene og tilstanden som følger av handlingene. Svar som ikke avslutter episoden, inneholder også antallet gjenstående handlinger.
| Handling | Observasjon eller resulterende tilstand |
|---|---|
1. read_expense("EX-104") | Et måltid til $34 med kvittering, tildelt M1 og fortsatt pending. |
2. read_policy() | Måltider over $30 krever godkjenning fra den tildelte lederen. |
3. read_approval("EX-104") | Ingen godkjenning og ingen forespørsel. |
4. request_approval("EX-104", "M1") | En ventende forespørsel til M1 opprettes. |
5. set_status("EX-104", "awaiting_approval") | EX-104 avventer godkjenning. |
6. finish("awaiting_approval") | Alle kontrollene består. Belønningen ved avslutning er +1. |
En sluttilstand som ikke skal bestå
Se for deg denne sekvensen på åtte handlinger fra samme tilbakestilte tilstand:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Utgiften, forespørselen og begrunnelsen for avslutning samsvarer nå med sekvensen som består. Men handling 4 godkjente utgiften uten godkjenning fra lederen. Loggen registrerer denne overgangen, så kontrollen returnerer 0. En kontroll av sluttilstanden alene ville ikke fanget det opp. Anthropics veiledning til agentevalueringer skiller mellom resultatet og handlingsforløpet som førte til det.
En spesifikasjon du kan tilpasse
Gi den som bygger miljøet, nok detaljer til å svare på disse spørsmålene for én representativ oppgave:
- Oppgave: Hva blir agenten bedt om å gjøre, og hvorfor er arbeidsprosessen viktig?
- Tilbakestilling: Hvilke poster, filer, policyer og eksterne svar finnes ved start? Hva må fjernes, og hvordan isoleres samtidige episoder?
- Observasjoner: Hva kan agenten lese, og hva er bare tilgjengelig for kontrollen? Gjør reglene som trengs for å utføre oppgaven, tilgjengelige for agenten.
- Handlinger og overganger: Hvilke kall er tillatt, hva endrer eller returnerer hvert av dem, og hva skjer ved ugyldige eller gjentatte kall?
- Kontroller og belønning: Hvilket resultat gir hver belønning? Hvilken uvedkommende tilstand må forbli uendret, og hvilke handlinger i loggen må være tillatt eller forbudt?
- Avslutning: Hva avslutter en episode, hva er grensen for handlinger eller tid, og hvordan registreres infrastrukturfeil?
- Dekning: Hvilke eksempler skal teste grensene i policyen og feiltilfeller? Hvilke tilfeller skal holdes utenfor og brukes til evaluering?
Kontroller miljøet før du bruker det til trening
Be utvikleren teste handlingsforløp som både består og ikke består, inkludert en handling som senere reverseres. Kontroller at en tilbakestilling fjerner endringene fra forrige episode, at parallelle episoder ikke deler tilstand som kan endres, og at agenten ikke kan endre kontrollen eller loggen. Versjoner policyen, testdataene, kontrollen, agentens kjøremiljø og backend-systemet slik at et resultat kan gjenskapes. Se vår konfigurasjonsstudie av Terminal-Bench for et evalueringseksempel som viser hvorfor oppgavedeklarasjoner, overstyringer i kjøresystemet og backend-policyer bør registreres separat.
Én fast utgift kan memoreres. Legg til varierte tilfeller, som beløp ved grensen for ledergodkjenning og manglende kvitteringer, med et forventet resultat for hvert tilfelle. Hold egne tilfeller av til evaluering. Kjør handlingsforløpet som består for å kontrollere at belønningen fungerer, og mål deretter hvor ofte agentens første handlingsforløp oppnår den før du baserer treningen på den.
sapien1 hjelper team med å avgrense oppgavemiljøer og evaluere agenter. Start med en arbeidsprosess, en representativ oppgave og resultatet du trenger å observere.