Hoppa till huvudinnehållet

Meny

Så specificerar du en RL-miljö för en AI-agent

Språk: Svenska

Ta med ett arbetsflöde, de åtgärder en agent får utföra och ett exempel på ett lyckat resultat. Vi kan hjälpa dig att avgränsa en uppgiftsmiljö med villkor för återställning, bedömningsregler och kontroller. Beskriv ditt projekt för sapien1

En miljö för förstärkningsinlärning (RL) ger en agent en plats där den kan försöka lösa en uppgift, utföra åtgärder och få återkoppling. För ett arbetsflöde i en verksamhet kan miljön simulera poster och verktyg så att varje försök börjar från ett känt tillstånd. En användbar specifikation talar om för den som bygger miljön vad agenten kan se och göra, hur tillståndet förändras, när ett försök avslutas och hur resultatet poängsätts.

Ett försök är en episod. En observation är information som miljön ger agenten och en belöning är en numerisk signal om agentens beteende. OpenEnvs grundläggande begrepp beskriver en miljö utifrån återställning, åtgärder, observationer och belöningar.

Miljön tillhandahåller uppgiften och återkopplingen. En RL-tränare kan använda belöningar för att uppdatera en agents beslutspolicy. En utvärdering kan i stället använda en miljö för att mäta en agent utan att uppdatera den. Se OpenEnvs översikt över träning och vår guide till agentutvärdering.

Exempel: en agent granskar ett måltidsutlägg

Anta att en agent får i uppgift att granska ett måltidsutlägg och registrera nästa steg. Följande är en fiktiv miljöspecifikation som varken har byggts eller testats. Posterna och åtgärderna är simulerade och kan inte genomföra en betalning.

Uppgiften som agenten får är: ”Granska utlägg EX-104 enligt policyn och registrera nästa steg.”

Starttillstånd och återställning

Skapa oberoende kopior av dessa poster i början av varje episod:

FältEX-104EX-105
TypMåltidMåltid
Belopp$34$20
KvittoFinnsFinns
Statuspendingpending
Tilldelad chefM1M2
Chefens godkännandeIngetInget

EX-105 är en orelaterad post. Den hjälper verifieraren att kontrollera att agenten inte ändrar annat arbete. Återställningen rensar också alla godkännandeförfrågningar och åtgärdsloggen och tilldelar sedan ett nytt episod-ID. Ingen chef svarar under episoden. Episoderna måste hålla sina ändringsbara poster, förfrågningar och loggar åtskilda, även när de körs samtidigt. OpenEnvs API-referens för grundfunktionerna beskriver isolering av samtidiga sessioner som ett krav för dess miljöer med samtidiga sessioner.

Policyn som agenten har tillgång till säger att en måltid med kvitto är ersättningsberättigad upp till och med 50 USD. En måltid över 30 USD kräver den tilldelade chefens godkännande innan utlägget kan godkännas. När godkännandet krävs men saknas ska agenten begära det och sätta utläggets status till awaiting_approval.

För EX-104 finns kvittot och 34 USD ligger inom måltidsgränsen, men beloppet överstiger gränsen för chefens godkännande. Eftersom M1 inte har godkänt utlägget är det förväntade nästa steget att begära M1:s godkännande och låta EX-104 invänta godkännande.

Observationer och tillåtna åtgärder

Vid återställning får agenten uppgiften, scheman för de tillgängliga åtgärderna och information om att tio åtgärder återstår. Varje svar som inte avslutar episoden, inklusive ett felmeddelande för ett ogiltigt anrop före gränsen, visar hur många åtgärder som återstår. Ett avslutande svar markerar att episoden är slut. Namnen på de simulerade åtgärderna nedan är illustrativa och hör till det här exemplet.

ÅtgärdResultat
read_expense(id)Returnerar typ, belopp, kvitto, status och tilldelad chef för det angivna utlägget.
read_policy()Returnerar policyn ovan.
read_approval(id)Returnerar status för godkännande och förfrågan för det angivna utlägget.
request_approval(id, manager)Skapar en väntande förfrågan för utlägget och chefen. En upprepad förfrågan för samma par lämnar en väntande förfrågan. Utläggets status ändras inte.
set_status(id, status)Sätter utläggets status till pending, awaiting_approval, approved eller rejected.
finish(reason)Avslutar episoden och registrerar agentens motivering.

Agenten får varje åtgärds svar och belöning. Registrera varje anrop och dess resultat, inklusive fel, i episodens åtgärdslogg. Verifieraren, dess referensunderlag och loggen kan inte ses eller ändras genom dessa åtgärder. De enda utläggs-ID:na är EX-104 och EX-105 och de enda cheferna är M1 och M2. Den simulerade miljön accepterar endera av de kända cheferna för en förfrågan och tillåter statusändringar mellan de angivna värdena, även när en ändring bryter mot policyn. Det gör att verifieraren kan observera och poängsätta ett osäkert beslut. Ett ogiltigt anrop returnerar ett fel, ändrar varken utläggsposterna eller godkännandeförfrågningarna, registreras i åtgärdsloggen och räknas som en åtgärd.

Belöning och avslut

Agenten har högst 10 åtgärder, inklusive finish. Varje åtgärd som inte avslutar episoden får belöningen 0. När agenten avslutar ger verifieraren +1 endast om alla dessa kontroller uppfylls:

  1. EX-104 slutar i awaiting_approval med beloppet 34 USD oförändrat.
  2. Exakt en väntande förfrågan finns, för EX-104 och M1, och avslutsorsaken är awaiting_approval.
  3. EX-105 är oförändrat och åtgärdsloggen innehåller inget lyckat set_status-anrop för det.
  4. Åtgärdsloggen innehåller ingen övergång för EX-104 till approved eller rejected och inget request_approval-anrop för något annat utlägg eller någon annan chef.

Varje annan avslutad episod får 0. Om den tionde åtgärden inte lyckas köra finish avslutas episoden med 0. En krasch i sandlådan eller ett otillgängligt backend-system gör försöket ogiltigt och utan poäng. Registrera sådana fel separat från agentens resultat.

Gränsen på tio åtgärder är en del av uppgiften. Om en insamlare av agentkörningar avslutar ett ofullständigt försök tidigare på grund av sin egen gräns ska du registrera avbrottet och den senaste giltiga observationen separat från ett poängsatt avslut på uppgiften. Gymnasium kallar detta externa avslut för trunkering och skiljer det från att uppgiften avslutas. Den skillnaden är viktig för inlärningsmetoder som skattar framtida värden utifrån ofullständiga tillstånd. OpenEnv 0.10.0:s basobservation listar en done-flagga. AgileRL:s textobservation dokumenterar hur ett extra truncated-fält förs vidare för att återskapa ett svar i fem delar. Kontrollera hur din egen miljö, adapter och inlärningskomponent bevarar orsaken till avslutet. En krasch i sandlådan eller ett otillgängligt backend-system gör fortfarande försöket ogiltigt och utan poäng, enligt beskrivningen ovan.

Detta är en gles belöning: den positiva signalen kommer i slutet av en lyckad episod. OpenEnvs vägledning om belöningar rekommenderar att man börjar med en enkel resultatsignal och förklarar avvägningen: glesa signaler kan ge långsam inlärning, medan mellanliggande belöningar kan uppmuntra en agent att optimera ett indirekt mått i stället för det avsedda resultatet.

En godkänd åtgärdskedja

Den här sekvensen med sex åtgärder uppfyller kontrollerna. Tabellen sammanfattar observationerna och det resulterande tillståndet. Svar som inte avslutar episoden innehåller också antalet återstående åtgärder.

ÅtgärdObservation eller resulterande tillstånd
1. read_expense("EX-104")En måltid för 34 USD med kvitto, tilldelad M1 och fortfarande pending.
2. read_policy()Måltider över 30 USD kräver den tilldelade chefens godkännande.
3. read_approval("EX-104")Inget godkännande och ingen förfrågan.
4. request_approval("EX-104", "M1")En väntande förfrågan till M1 skapas.
5. set_status("EX-104", "awaiting_approval")EX-104 inväntar godkännande.
6. finish("awaiting_approval")Kontrollerna uppfylls. Slutbelöningen är +1.

Ett sluttillstånd som ska underkännas

Betrakta den här sekvensen med åtta åtgärder från samma återställda tillstånd:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Utlägget, förfrågan och avslutsorsaken stämmer nu med den godkända sekvensen. Men åtgärd 4 godkände utlägget utan chefens godkännande. Loggen registrerar den övergången, så verifieraren returnerar 0. En kontroll av enbart sluttillståndet skulle missa detta. Anthropics guide till agentutvärderingar skiljer resultatet från den åtgärdskedja som gav upphov till det.

En specifikation att anpassa

Ge den som bygger din miljö tillräckligt med detaljer för att kunna besvara följande frågor för en representativ uppgift:

  • Uppgift: Vad ska agenten göra och varför är arbetsflödet viktigt?
  • Återställning: Vilka poster, filer, policyer och externa svar finns vid start? Vad måste rensas och hur isoleras samtidiga episoder?
  • Observationer: Vad kan agenten läsa och vad stannar hos verifieraren? Gör de regler som behövs för att utföra uppgiften tillgängliga för agenten.
  • Åtgärder och övergångar: Vilka anrop är tillåtna, vad ändrar eller returnerar varje anrop och vad händer vid ogiltiga eller upprepade anrop?
  • Kontroller och belöning: Vilket resultat ger respektive belöning? Vilka orelaterade tillstånd måste förbli oförändrade och vilka åtgärder i loggen måste tillåtas eller förbjudas?
  • Avslut: Vad avslutar en episod, vilken åtgärds- eller tidsgräns gäller och hur registreras infrastrukturfel?
  • Täckning: Vilka exempel ska pröva policyns gränser och fall där något går fel? Vilka fall ska hållas undan för utvärdering?

Kontrollera miljön innan du använder den för träning

Be den som bygger miljön att testa godkända och underkända åtgärdskedjor, inklusive en åtgärd som senare återställs. Kontrollera att en återställning tar bort föregående episodens ändringar, att parallella episoder inte delar ändringsbart tillstånd och att agenten inte kan ändra verifieraren eller dess logg. Versionshantera policyn, testdata, verifieraren, agentens körmiljö och backend-systemet så att ett resultat kan återskapas. För ett utvärderingsexempel på varför uppgiftsdeklarationer, åsidosättningar i körverktyget och backend-policyer bör registreras separat, se vår studie av Terminal-Bench-konfiguration.

Ett enda fast utlägg kan memoreras. Lägg till varierade fall, till exempel belopp vid gränsen för chefens godkännande och saknade kvitton, med ett förväntat resultat för varje fall. Håll separata fall undan för utvärdering. Kör den godkända åtgärdskedjan för att verifiera att belöningen fungerar och mät sedan hur ofta agentens inledande körningar når den innan du förlitar dig på den för träning.

sapien1 hjälper team att avgränsa uppgiftsmiljöer och utvärdera agenter. Börja med ett arbetsflöde, en representativ uppgift och det resultat du behöver observera.