Gå til hovedindholdet

Menu

Sådan specificerer du et RL-miljø til en AI-agent

Sprog: Dansk

Medbring én arbejdsgang, de handlinger, en agent må udføre, og et eksempel på et vellykket resultat. Vi kan hjælpe med at afgrænse et opgavemiljø med betingelser for nulstilling, vurderingsregler og kontroller. Beskriv dit projekt for sapien1

Et miljø til forstærkningslæring (RL) giver en agent et sted, hvor den kan forsøge at løse en opgave, udføre handlinger og modtage feedback. I en forretningsproces kan miljøet simulere registreringer og værktøjer, så hvert forsøg starter fra en kendt tilstand. En brugbar specifikation fortæller udvikleren, hvad agenten kan se og gøre, hvordan tilstanden ændrer sig, hvornår et forsøg slutter, og hvordan resultatet bedømmes.

Ét forsøg er en episode. En observation er information, som miljøet giver agenten, og en belønning er et numerisk signal om dens adfærd. OpenEnv's centrale begreber beskriver et miljø ud fra nulstilling, handlinger, observationer og belønninger.

Miljøet stiller opgaven og feedback til rådighed. En RL-træner kan bruge belønninger til at opdatere agentens beslutningspolitik. En evaluering kan i stedet bruge et miljø til at måle en agent uden at opdatere den. Se OpenEnv's oversigt over træning og vores guide til evaluering af agenter.

Eksempel: En agent gennemgår en måltidsudgift

Antag, at en agent bliver bedt om at gennemgå en måltidsudgift og registrere næste skridt. Følgende er en fiktiv miljøspecifikation. Miljøet er ikke blevet bygget eller testet. Dets registreringer og handlinger er simulerede og kan ikke gennemføre en betaling.

Opgaven, som agenten får, er: ”Gennemgå udgift EX-104 i henhold til politikken, og registrér næste skridt.”

Starttilstand og nulstilling

Opret uafhængige kopier af disse registreringer ved starten af hver episode:

FeltEX-104EX-105
TypeMåltidMåltid
Beløb$34$20
KvitteringForeliggerForeligger
Statuspendingpending
Tildelt lederM1M2
Lederens godkendelseIngenIngen

EX-105 er en urelateret registrering, som hjælper verifikatoren med at kontrollere, at agenten lader andet arbejde være. Nulstilling rydder også alle godkendelsesanmodninger og handlingsloggen og tildeler derefter et nyt episode-id. Ingen leder svarer under episoden. Episoderne skal holde deres ændrbare registreringer, anmodninger og logge adskilt, også når de kører samtidig. OpenEnv's reference til den centrale API beskriver isolation af samtidige sessioner som et krav til miljøer med samtidige sessioner.

Politikken, som agenten har adgang til, siger, at en måltidsudgift med kvittering er berettiget til dækning til og med $50. Et måltid over $30 kræver godkendelse fra den tildelte leder, før udgiften kan godkendes. Når denne godkendelse er påkrævet, men mangler, skal agenten anmode om den og sætte udgiftens status til awaiting_approval.

For EX-104 foreligger kvitteringen, og $34 er inden for grænsen for måltider, men beløbet overstiger godkendelsesgrænsen. Da M1 ikke har godkendt udgiften, er det forventede næste skridt at anmode om M1's godkendelse og lade EX-104 afvente godkendelse.

Observationer og tilladte handlinger

Ved nulstilling modtager agenten opgaven, skemaerne for de tilgængelige handlinger og en angivelse af, at der er ti handlinger tilbage. Hvert svar, som ikke afslutter episoden, herunder en fejl ved et ugyldigt kald før grænsen, viser antallet af resterende handlinger. Et afsluttende svar markerer, at episoden er slut. Navnene på de simulerede handlinger nedenfor er illustrative og hører til dette eksempel.

HandlingResultat
read_expense(id)Returnerer den angivne udgifts type, beløb, kvittering, status og tildelte leder.
read_policy()Returnerer politikken ovenfor.
read_approval(id)Returnerer godkendelses- og anmodningsstatus for den angivne udgift.
request_approval(id, manager)Opretter en afventende anmodning for udgiften og lederen. En gentagen anmodning for samme par efterlader én afventende anmodning. Den ændrer ikke udgiftens status.
set_status(id, status)Sætter udgiftens status til pending, awaiting_approval, approved eller rejected.
finish(reason)Afslutter episoden og registrerer agentens begrundelse.

Agenten modtager hver handlings svar og belønning. Registrér hvert kald og dets resultat, herunder fejl, i episodens handlingslog. Verifikatoren, dens baseline og loggen kan hverken ses eller redigeres gennem disse handlinger. De eneste udgifts-id'er er EX-104 og EX-105, og de eneste ledere er M1 og M2. Simuleringen accepterer begge kendte ledere i en anmodning og tillader statusændringer mellem de angivne værdier, selv når en ændring overtræder politikken. Det giver verifikatoren mulighed for at observere og bedømme en usikker beslutning. Et ugyldigt kald returnerer en fejl, ændrer hverken udgiftsregistreringerne eller godkendelsesanmodningerne, registreres i handlingsloggen og tæller som en handling.

Belønning og afslutning

Agenten har højst 10 handlinger, inklusive finish. Hver handling, der ikke afslutter episoden, får en belønning på 0. Når agenten afslutter, giver verifikatoren kun +1, hvis alle disse kontroller er bestået:

  1. EX-104 slutter i tilstanden awaiting_approval med beløbet $34 uændret.
  2. Der findes præcis én afventende anmodning for EX-104 og M1, og afslutningsårsagen er awaiting_approval.
  3. EX-105 er uændret, og handlingsloggen indeholder ikke noget vellykket set_status-kald for den.
  4. Handlingsloggen indeholder ingen overgang for EX-104 til approved eller rejected og intet request_approval-kald for en anden udgift eller leder.

Enhver anden afsluttet episode får 0. Hvis den tiende handling ikke udfører finish, afsluttes episoden med 0. Et nedbrud i sandkassen eller en utilgængelig backend gør forsøget ugyldigt og uden point. Registrér disse fejl separat fra agentens resultater.

Grænsen på ti handlinger er en del af denne opgave. Hvis en indsamler af kørselsforløb afslutter et ufærdigt forsøg tidligere på grund af sin egen grænse, skal du registrere denne afbrydelse og den sidste gyldige observation separat fra en bedømt opgaveafslutning. Gymnasium kalder denne eksterne afslutning trunkering og skelner mellem den og afslutning af opgaven. Den forskel har betydning for læringsmetoder, der bruger bootstrapping fra ufærdige tilstande. OpenEnv 0.10.0's basisobservation angiver et done-flag. AgileRL's tekstobservation dokumenterer brugen af et ekstra truncated-felt til at genskabe et svar i fem dele. Kontrollér, hvordan dit eget miljø, din adapter og din læringskomponent bevarer årsagen til afslutningen. Et nedbrud i sandkassen eller en utilgængelig backend gør fortsat forsøget ugyldigt og uden point som beskrevet ovenfor.

Dette er en sparsom belønning: Det positive signal kommer ved afslutningen af en vellykket episode. OpenEnv's vejledning om belønning anbefaler at starte med et enkelt resultatsignal og forklarer afvejningen: Det kan tage lang tid at lære af sparsomme signaler, mens mellemliggende belønninger kan få en agent til at optimere efter et indirekte mål frem for det tilsigtede resultat.

Et handlingsforløb, der består

Denne sekvens med seks handlinger opfylder kontrollerne. Tabellen opsummerer observationerne og den resulterende tilstand. Svar, der ikke afslutter episoden, indeholder også antallet af resterende handlinger.

HandlingObservation eller resulterende tilstand
1. read_expense("EX-104")Et måltid til $34 med en kvittering, tildelt M1 og stadig med status pending.
2. read_policy()Måltider over $30 kræver godkendelse fra den tildelte leder.
3. read_approval("EX-104")Ingen godkendelse og ingen anmodning.
4. request_approval("EX-104", "M1")Der oprettes en afventende anmodning til M1.
5. set_status("EX-104", "awaiting_approval")EX-104 afventer godkendelse.
6. finish("awaiting_approval")Kontrollerne er bestået, og den afsluttende belønning er +1.

En sluttilstand, der bør fejle

Se på denne sekvens med otte handlinger fra samme nulstillingstilstand:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Udgiften, anmodningen og afslutningsårsagen svarer nu til den sekvens, der består. Men handling 4 godkendte udgiften uden lederens godkendelse. Loggen registrerer denne overgang, så verifikatoren returnerer 0. En kontrol af sluttilstanden alene ville overse det. Anthropic's guide til evaluering af agenter skelner mellem resultatet og det handlingsforløb, der førte til det.

En specifikation, du kan tilpasse

Giv den, der bygger dit miljø, nok detaljer til at besvare disse spørgsmål for én repræsentativ opgave:

  • Opgave: Hvad bliver agenten bedt om at gøre, og hvorfor er arbejdsgangen vigtig?
  • Nulstilling: Hvilke registreringer, filer, politikker og eksterne svar findes ved start? Hvad skal ryddes, og hvordan isoleres samtidige episoder?
  • Observationer: Hvad kan agenten læse, og hvad forbliver hos verifikatoren? Gør de regler, der er nødvendige for at udføre opgaven, tilgængelige for agenten.
  • Handlinger og overgange: Hvilke kald er tilladt, hvad ændrer eller returnerer hvert kald, og hvad sker der ved ugyldige eller gentagne kald?
  • Kontroller og belønning: Hvilket resultat udløser hver belønning? Hvilken urelateret tilstand skal forblive uændret, og hvilke handlinger i loggen skal være tilladt eller forbudt?
  • Afslutning: Hvad afslutter en episode, hvad er grænsen for antal handlinger eller tid, og hvordan registreres infrastrukturfejl?
  • Dækning: Hvilke eksempler skal afprøve politikkens grænser og fejltilfælde? Hvilke tilfælde holdes tilbage til evaluering?

Kontrollér miljøet, før du bruger det til træning

Bed den, der bygger miljøet, om at afprøve handlingsforløb, der består og fejler, herunder en handling, der senere omgøres. Kontrollér, at en nulstilling fjerner ændringerne fra den foregående episode, at parallelle episoder ikke deler ændrbar tilstand, og at agenten ikke kan ændre verifikatoren eller dens log. Versionsstyr politikken, testdataene, verifikatoren, agentens kørselsramme og backenden, så et resultat kan genskabes. Se vores undersøgelse af Terminal-Bench-konfiguration for et evalueringseksempel på, hvorfor opgavedeklarationer, tilsidesættelser i kørselsprogrammet og backendpolitikker bør registreres separat.

Én fast udgift kan læres udenad. Tilføj varierede tilfælde, for eksempel beløb ved godkendelsesgrænsen og manglende kvitteringer, med et forventet resultat for hvert tilfælde. Hold særskilte tilfælde tilbage til evaluering. Kør det handlingsforløb, der består, for at kontrollere, at belønningen virker, og mål derefter, hvor ofte agentens indledende kørselsforløb opnår den, før du bruger den til træning.

sapien1 hjælper teams med at fastlægge rammerne for opgavemiljøer og evaluere agenter. Start med en arbejdsgang, en repræsentativ opgave og det resultat, du har brug for at observere.