Naar de hoofdinhoud

Menu

Zo specificeer je een RL-omgeving voor een AI-agent

Taal: Nederlands

Neem één workflow mee, de acties die een agent mag uitvoeren en een voorbeeld van een geslaagd resultaat. We kunnen helpen de omvang van een taakomgeving te bepalen, met voorwaarden voor het terugzetten naar de beginsituatie, beoordelingsregels en controles. Beschrijf je project voor sapien1

Een reinforcement learning-omgeving (RL-omgeving) geeft een agent een plek om een taak uit te voeren, acties te ondernemen en feedback te ontvangen. Voor een bedrijfsproces kan de omgeving gegevens en tools simuleren, zodat elke poging vanuit een bekende toestand begint. Een bruikbare specificatie vertelt de bouwer wat de agent kan zien en doen, hoe de toestand verandert, wanneer een poging eindigt en hoe het resultaat wordt beoordeeld.

Eén poging is een episode. Een observatie is informatie die de omgeving aan de agent geeft, en een beloning is een numeriek signaal over zijn gedrag. De kernconcepten van OpenEnv beschrijven een omgeving aan de hand van reset, acties, observaties en beloningen.

De omgeving levert de taak en feedback. Een RL-trainer kan beloningen gebruiken om het besluitvormingsbeleid van een agent bij te werken; een evaluatie kan een omgeving daarentegen gebruiken om een agent te meten zonder die bij te werken. Zie het trainingsoverzicht van OpenEnv en onze gids voor agentevaluatie.

Voorbeeld: een agent beoordeelt een maaltijdeclaratie

Stel dat een agent de opdracht krijgt om een maaltijdeclaratie te beoordelen en de volgende stap vast te leggen. Hieronder staat een fictieve omgevingsspecificatie; die is niet gebouwd of getest. De gegevens en acties zijn gesimuleerd en kunnen geen betaling uitvoeren.

De taak voor de agent luidt: ‘Beoordeel declaratie EX-104 volgens het beleid en leg de volgende stap vast.’

Begintoestand en reset

Maak aan het begin van elke episode onafhankelijke kopieën van deze gegevens:

VeldEX-104EX-105
TypeMaaltijdMaaltijd
Bedrag$34$20
BonAanwezigAanwezig
Statuspendingpending
Toegewezen managerM1M2
Goedkeuring van managerGeenGeen

EX-105 is een niet-gerelateerde declaratie; hiermee kan de verifier controleren of de agent ander werk ongemoeid laat. De reset wist ook alle goedkeuringsverzoeken en het actielogboek en wijst vervolgens een nieuw episode-ID toe. Tijdens de episode reageert geen enkele manager. Episodes moeten hun wijzigbare gegevens, verzoeken en logboeken gescheiden houden, ook wanneer ze gelijktijdig worden uitgevoerd. De kern-API-referentie van OpenEnv noemt de isolatie van gelijktijdige sessies als vereiste voor omgevingen met gelijktijdige sessies.

Het beleid dat de agent kan raadplegen, bepaalt dat een maaltijd met een bon in aanmerking komt tot en met $50. Voor een maaltijd boven $30 is goedkeuring van de toegewezen manager nodig voordat de declaratie kan worden goedgekeurd. Als die goedkeuring vereist is maar ontbreekt, moet de agent erom vragen en de declaratie op awaiting_approval zetten.

Bij EX-104 is de bon aanwezig en valt $34 binnen de maaltijdlimiet, maar het bedrag ligt boven de goedkeuringsdrempel. Omdat M1 de declaratie nog niet heeft goedgekeurd, is de verwachte volgende stap om M1 om goedkeuring te vragen en EX-104 op goedkeuring te laten wachten.

Observaties en toegestane acties

Bij de reset ontvangt de agent de taak, de beschikbare actieschema’s en het aantal resterende acties: tien. Elk niet-terminaal antwoord, inclusief een foutmelding bij een ongeldige aanroep vóór het bereiken van de limiet, toont hoeveel acties nog beschikbaar zijn. Een terminaal antwoord geeft aan dat de episode is beëindigd. De onderstaande namen van gesimuleerde acties zijn ter illustratie en horen bij dit voorbeeld.

ActieResultaat
read_expense(id)Geeft het type, bedrag, de bon, status en toegewezen manager van de genoemde declaratie terug.
read_policy()Geeft het bovenstaande beleid terug.
read_approval(id)Geeft de goedkeurings- en verzoekstatus van de genoemde declaratie terug.
request_approval(id, manager)Maakt een openstaand verzoek aan voor de declaratie en manager. Bij een herhaald verzoek voor hetzelfde paar blijft één verzoek openstaan. De status van de declaratie verandert hierdoor niet.
set_status(id, status)Zet de declaratie op pending, awaiting_approval, approved of rejected.
finish(reason)Beëindigt de episode en legt de reden van de agent vast.

De agent ontvangt het antwoord en de beloning voor elke actie. Leg elke aanroep en het resultaat ervan, inclusief fouten, vast in het actielogboek van de episode. De verifier, zijn uitgangstoestand en het logboek zijn via deze acties niet zichtbaar of te bewerken. De enige declaratie-ID’s zijn EX-104 en EX-105; de enige managers zijn M1 en M2. De simulatie accepteert beide bekende managers voor een verzoek en staat statuswijzigingen tussen de genoemde waarden toe, ook als een wijziging in strijd is met het beleid. Zo kan de verifier een onveilige beslissing waarnemen en beoordelen. Een ongeldige aanroep geeft een foutmelding, verandert noch de declaratiegegevens noch de goedkeuringsverzoeken, wordt vastgelegd in het actielogboek en telt als een actie.

Beloning en beëindiging

De agent heeft maximaal 10 acties, inclusief finish. Elke niet-terminale actie krijgt een beloning van 0. Wanneer de agent afrondt, geeft de verifier alleen +1 als aan al deze controles is voldaan:

  1. EX-104 eindigt op awaiting_approval, met het bedrag van $34 ongewijzigd.
  2. Er bestaat precies één openstaand verzoek, voor EX-104 en M1, en de reden voor afronding is awaiting_approval.
  3. EX-105 is ongewijzigd en het actielogboek bevat geen geslaagde set_status-aanroep voor deze declaratie.
  4. Het actielogboek bevat geen overgang van EX-104 naar approved of rejected en geen request_approval-aanroep voor een andere declaratie of manager.

Elke andere afgeronde episode krijgt 0. Als de tiende actie finish niet succesvol uitvoert, eindigt de episode met 0. Een crash van de sandbox of een niet-beschikbare backend maakt de proef ongeldig en zonder score; leg die fouten apart vast van de resultaten van de agent.

De limiet van tien acties hoort bij deze taak. Als een rollout collector een onvoltooide poging eerder beëindigt vanwege een eigen limiet, leg die afbreking en de laatste geldige observatie dan apart vast van een gescoord einde van de taak. Gymnasium noemt deze externe beëindiging truncatie en onderscheidt die van taakbeëindiging. Dat onderscheid is belangrijk voor leermethoden die vanuit onvoltooide toestanden bootstrappen. De basisobservatie van OpenEnv 0.10.0 bevat een done-vlag. De documentatie van de tekstobservatie van AgileRL beschrijft hoe een extra veld truncated wordt meegegeven om een vijfdelig antwoord te reconstrueren. Controleer hoe je eigen omgeving, adapter en learner de reden van beëindiging bewaren. Een crash van de sandbox of een niet-beschikbare backend blijft ongeldig en zonder score, zoals hierboven beschreven.

Dit is een schaarse beloning: het positieve signaal komt aan het einde van een succesvolle episode. De richtlijnen voor beloningen van OpenEnv raden aan te beginnen met een eenvoudig resultaati van het resultaat en leggen de afweging uit: van schaarse signalen kan een agent langzaam leren, terwijl tussentijdse beloningen een agent kunnen aanmoedigen een indirecte maatstaf te optimaliseren in plaats van het beoogde resultaat.

Een geslaagd verloop

Deze reeks van zes acties voldoet aan de controles. De tabel vat de observaties en de resulterende toestand samen. Niet-terminale antwoorden bevatten ook het aantal resterende acties.

ActieObservatie of resulterende toestand
1. read_expense("EX-104")Een maaltijd van $34 met een bon, toegewezen aan M1 en nog steeds pending.
2. read_policy()Voor maaltijden boven $30 is goedkeuring van de toegewezen manager vereist.
3. read_approval("EX-104")Geen goedkeuring en geen verzoek.
4. request_approval("EX-104", "M1")Er wordt een openstaand verzoek voor M1 aangemaakt.
5. set_status("EX-104", "awaiting_approval")EX-104 wacht op goedkeuring.
6. finish("awaiting_approval")De controles slagen; de terminale beloning is +1.

Een eindtoestand die moet falen

Bekijk deze reeks van acht acties vanuit dezelfde begintoestand na reset:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

De declaratie, het verzoek en de reden voor afronding komen nu overeen met de geslaagde reeks. Maar actie 4 keurde de declaratie goed zonder goedkeuring van de manager. Het logboek legt die overgang vast, dus geeft de verifier 0 terug. Een controle van alleen de eindtoestand zou dit missen. De gids voor agentevaluaties van Anthropic maakt onderscheid tussen het resultaat en het verloop van de acties die ertoe leidden.

Een specificatie om aan te passen

Geef de bouwer van je omgeving genoeg informatie om deze vragen voor één representatieve taak te beantwoorden:

  • Taak: Wat krijgt de agent de opdracht te doen en waarom is het werkproces van belang?
  • Reset: Welke gegevens, bestanden, beleidsregels en externe antwoorden bestaan er bij aanvang? Wat moet worden gewist en hoe worden gelijktijdige episodes van elkaar geïsoleerd?
  • Observaties: Wat kan de agent lezen en wat blijft bij de verifier? Maak de regels die nodig zijn om de taak uit te voeren beschikbaar voor de agent.
  • Acties en overgangen: Welke aanroepen zijn toegestaan, wat verandert elke aanroep of geeft die terug, en wat gebeurt er bij ongeldige of herhaalde aanroepen?
  • Controles en beloning: Welk resultaat levert elke beloning op? Welke niet-gerelateerde toestand moet ongewijzigd blijven en welke acties in het logboek moeten toegestaan of verboden zijn?
  • Beëindiging: Wat beëindigt een episode, wat is de actie- of tijdslimiet en hoe worden infrastructuurfouten vastgelegd?
  • Dekking: Welke voorbeelden moeten beleidsgrenzen en foutgevallen testen? Welke gevallen worden apart gehouden voor evaluatie?

Controleer de omgeving voordat je die voor training gebruikt

Vraag de bouwer om geslaagde en mislukte actieverslagen te testen, inclusief een actie die later wordt teruggedraaid. Controleer of een reset de wijzigingen van de vorige episode verwijdert, parallelle episodes geen wijzigbare toestand delen en de agent de verifier of het bijbehorende logboek niet kan wijzigen. Houd het beleid, de testgegevens, verifier, agentharnas en backend onder versiebeheer zodat een resultaat kan worden gereproduceerd. Zie ons onderzoek naar Terminal-Bench-configuratie voor een evaluatievoorbeeld dat laat zien waarom taakdefinities, overschrijvingen door de runner en backendbeleid apart moeten worden vastgelegd.

Eén vaste declaratie kan uit het hoofd worden geleerd. Voeg gevarieerde gevallen toe, zoals bedragen op de goedkeuringsdrempel en ontbrekende bonnen, met voor elk geval een verwacht resultaat; houd aparte gevallen achter voor evaluatie. Voer het geslaagde verloop uit om te controleren of de beloning werkt en meet vervolgens hoe vaak de eerste rollouts van de agent die bereiken voordat je erop vertrouwt voor training.

sapien1 helpt teams de reikwijdte van taakomgevingen te bepalen en agenten te evalueren. Begin met een werkproces, een representatieve taak en het resultaat dat je wilt waarnemen.