Jak specifikovat prostředí RL pro AI agenta
Jazyk: Čeština
Přineste jeden pracovní postup, popis akcí, které agent smí provádět, a příklad úspěšného výsledku. Můžeme pomoci vymezit prostředí pro plnění úlohy včetně podmínek obnovení výchozího stavu, pravidel hodnocení a kontrol. Popište svůj projekt společnosti sapien1
Prostředí pro posilované učení (RL) poskytuje agentovi prostor, ve kterém se může pokusit splnit úkol, provádět akce a získávat zpětnou vazbu. V případě podnikového pracovního postupu může prostředí simulovat záznamy a nástroje, aby každý pokus začínal ze známého stavu. Užitečná specifikace říká tvůrci prostředí, co agent vidí a může dělat, jak se mění stav, kdy pokus končí a jak se hodnotí výsledek.
Jeden pokus tvoří epizodu. Pozorování je informace, kterou prostředí poskytuje agentovi, a odměna je číselný signál o jeho chování. Základní pojmy OpenEnv popisují prostředí pomocí resetu, akcí, pozorování a odměn.
Prostředí poskytuje úkol a zpětnou vazbu. Trénovací systém RL může pomocí odměn aktualizovat rozhodovací politiku agenta; při evaluaci lze naopak prostředí použít k měření výkonu agenta bez jeho aktualizace. Přečtěte si přehled trénování v OpenEnv a našeho průvodce evaluací agentů.
Příklad: agent kontroluje výdaj za jídlo
Představme si, že agent má zkontrolovat výdaj za jídlo a zaznamenat další krok. Následuje fiktivní specifikace prostředí, které nebylo vytvořeno ani otestováno. Jeho záznamy a akce jsou simulované a nemohou provést platbu.
Úkol zadaný agentovi zní: „Zkontrolujte výdaj EX-104 podle pravidel a zaznamenejte další krok.“
Výchozí stav a reset
Na začátku každé epizody vytvořte nezávislé kopie těchto záznamů:
| Pole | EX-104 | EX-105 |
|---|---|---|
| Typ | Jídlo | Jídlo |
| Částka | $34 | $20 |
| Účtenka | Přítomna | Přítomna |
| Stav | pending | pending |
| Přiřazený vedoucí | M1 | M2 |
| Schválení vedoucím | Žádné | Žádné |
EX-105 je nesouvisející záznam; pomáhá ověřovacímu mechanismu zkontrolovat, že agent nezasahuje do jiné práce. Reset také vymaže všechny žádosti o schválení a protokol akcí a poté přiřadí nové ID epizody. Během epizody žádný vedoucí neodpoví. Každá epizoda musí mít oddělené měnitelné záznamy, žádosti a protokoly, a to i při souběžném běhu. Referenční dokumentace základního API OpenEnv uvádí izolaci souběžných relací jako požadavek na jeho prostředí podporující souběh.
Pravidla dostupná agentovi stanoví, že výdaj za jídlo s účtenkou lze uznat do výše 50 USD včetně. Výdaj za jídlo nad 30 USD vyžaduje před schválením souhlas přiřazeného vedoucího. Pokud je tento souhlas vyžadován, ale chybí, má si ho agent vyžádat a nastavit stav výdaje na awaiting_approval.
U výdaje EX-104 je účtenka přítomna a 34 USD je v rámci limitu pro jídlo, ale částka překračuje hranici pro schválení. Protože M1 výdaj neschválil, očekávaným dalším krokem je požádat M1 o schválení a ponechat EX-104 ve stavu čekajícím na schválení.
Pozorování a povolené akce
Při resetu agent obdrží zadání, dostupná schémata akcí a údaj, že mu zbývá deset akcí. Každá odpověď, která neukončuje epizodu, včetně chybové odpovědi na neplatné volání před dosažením limitu, uvádí počet zbývajících akcí. Odpověď ukončující epizodu označuje epizodu za skončenou. Názvy simulovaných akcí uvedené níže jsou ilustrativní a patří k tomuto příkladu.
| Akce | Výsledek |
|---|---|
read_expense(id) | Vrátí typ, částku, účtenku, stav a přiřazeného vedoucího uvedeného výdaje. |
read_policy() | Vrátí výše uvedená pravidla. |
read_approval(id) | Vrátí stav schválení a žádosti u uvedeného výdaje. |
request_approval(id, manager) | Vytvoří nevyřízenou žádost pro daný výdaj a vedoucího. Při opakované žádosti pro stejnou dvojici zůstane jedna nevyřízená žádost. Stav výdaje se nezmění. |
set_status(id, status) | Nastaví stav výdaje na pending, awaiting_approval, approved nebo rejected. |
finish(reason) | Ukončí epizodu a zaznamená důvod uvedený agentem. |
Agent obdrží odpověď a odměnu za každou akci. Každé volání a jeho výsledek, včetně chyb, zaznamenejte do protokolu akcí dané epizody. Prostřednictvím těchto akcí nelze zobrazit ani upravit ověřovací mechanismus, jeho výchozí stav ani protokol. Jediná ID výdajů jsou EX-104 a EX-105; jediní vedoucí jsou M1 a M2. Simulace přijímá žádost pro kteréhokoli ze známých vedoucích a umožňuje změny stavu mezi uvedenými hodnotami, i když změna porušuje pravidla. Ověřovací mechanismus tak může pozorovat a vyhodnotit nebezpečné rozhodnutí. Neplatné volání vrátí chybu, nezmění záznamy o výdajích ani žádosti o schválení, zaznamená se do protokolu akcí a započítá se jako akce.
Odměna a ukončení
Agent má k dispozici nejvýše 10 akcí včetně finish. Každá akce, která neukončuje epizodu, získá odměnu 0. Když agent skončí, ověřovací mechanismus přidělí +1 pouze tehdy, pokud jsou splněny všechny tyto podmínky:
- EX-104 skončí ve stavu
awaiting_approvala jeho částka 34 USD zůstane beze změny. - Existuje právě jedna nevyřízená žádost, a to pro EX-104 a M1, a důvod ukončení je
awaiting_approval. - EX-105 zůstane beze změny a protokol akcí neobsahuje žádné úspěšné volání
set_statuspro tento výdaj. - Protokol akcí neobsahuje žádný přechod EX-104 do stavu
approvedanirejecteda žádné volánírequest_approvalpro jiný výdaj nebo jiného vedoucího.
Každá jiná dokončená epizoda získá 0. Pokud se při desáté akci úspěšně neprovede finish, epizoda skončí s výsledkem 0. Pád izolovaného prostředí nebo nedostupný backend způsobí, že pokus je neplatný a nehodnotí se; tyto selhání zaznamenávejte odděleně od výsledků agenta.
Limit deseti akcí je součástí tohoto úkolu. Pokud sběrný mechanismus ukončí nedokončený pokus dříve kvůli vlastnímu limitu, zaznamenejte toto předčasné ukončení a poslední platné pozorování odděleně od hodnoceného ukončení úkolu. Gymnasium označuje toto vnější ukončení jako zkrácení a odlišuje ho od ukončení úkolu. Toto rozlišení je důležité pro metody učení, které odhadují hodnotu z nedokončených stavů. Základní pozorování OpenEnv 0.10.0 uvádí příznak done. Textové pozorování AgileRL dokumentuje předávání dalšího pole truncated pro rekonstrukci pětidílné odpovědi. Ověřte, jak vaše prostředí, adaptér a učicí systém zachovávají důvod ukončení. Pád izolovaného prostředí nebo nedostupný backend nadále znamená, že pokus je neplatný a nehodnotí se, jak je popsáno výše.
Jde o řídkou odměnu: kladný signál přichází až na konci úspěšné epizody. Doporučení OpenEnv k odměnám radí začít jednoduchým signálem podle výsledku a vysvětluje související kompromis: učení z řídkých signálů může být pomalé, zatímco průběžné odměny mohou agenta vést k optimalizaci zástupného ukazatele místo zamýšleného výsledku.
Průběh, který vyhoví kontrolám
Tato posloupnost šesti akcí splňuje podmínky kontrol. Tabulka shrnuje pozorování a výsledný stav. Odpovědi, které neukončují epizodu, obsahují také počet zbývajících akcí.
| Akce | Pozorování nebo výsledný stav |
|---|---|
1. read_expense("EX-104") | Výdaj za jídlo ve výši 34 USD s účtenkou, přiřazený M1 a stále ve stavu pending. |
2. read_policy() | Výdaje za jídlo nad 30 USD vyžadují schválení přiřazeným vedoucím. |
3. read_approval("EX-104") | Žádné schválení ani žádost. |
4. request_approval("EX-104", "M1") | Vytvoří se nevyřízená žádost pro M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 čeká na schválení. |
6. finish("awaiting_approval") | Kontroly jsou splněny; odměna při ukončení je +1. |
Konečný stav, který nemá vyhovět
Uvažujme tuto posloupnost osmi akcí ze stejného výchozího stavu po resetu:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Výdaj, žádost i důvod ukončení nyní odpovídají vyhovující posloupnosti. Při akci 4 však došlo ke schválení výdaje bez souhlasu vedoucího. Protokol tento přechod zaznamenává, a proto ověřovací mechanismus vrátí 0. Samotná kontrola konečného stavu by jej nezachytila. Průvodce evaluací agentů společnosti Anthropic rozlišuje výsledek od průběhu akcí, které k němu vedly.
Specifikace k přizpůsobení
Poskytněte tvůrci prostředí dostatek podrobností, aby mohl u jednoho reprezentativního úkolu odpovědět na tyto otázky:
- Úkol: Co má agent udělat a proč je pracovní postup důležitý?
- Reset: Jaké záznamy, soubory, zásady a externí odpovědi existují na začátku? Co je třeba vymazat a jak jsou souběžné epizody izolovány?
- Pozorování: Co může agent číst a co zůstává u ověřovacího mechanismu? Zpřístupněte agentovi pravidla potřebná ke splnění úkolu.
- Akce a přechody: Která volání jsou povolena, co každé z nich mění nebo vrací a co se stane při neplatném nebo opakovaném volání?
- Kontroly a odměna: Jaký výsledek vede k jednotlivým odměnám? Který nesouvisející stav musí zůstat beze změny a které akce v protokolu musí být povoleny nebo zakázány?
- Ukončení: Co ukončuje epizodu, jaký je limit počtu akcí nebo času a jak se zaznamenávají selhání infrastruktury?
- Pokrytí: Které příklady mají prověřit hraniční podmínky pravidel a případy selhání? Které případy budou vyhrazeny pro evaluaci?
Před použitím k trénování prostředí zkontrolujte
Požádejte tvůrce, aby prověřil vyhovující i nevyhovující průběhy, včetně akce, která je později vrácena zpět. Zkontrolujte, že reset odstraní změny z předchozí epizody, souběžné epizody nesdílejí měnitelný stav a agent nemůže měnit ověřovací mechanismus ani jeho protokol. Udržujte pravidla, testovací data, ověřovací mechanismus, rozhraní pro spuštění agenta i backend pod správou verzí, aby bylo možné výsledek reprodukovat. Příklad z evaluace, který ukazuje, proč zaznamenávat deklarace úkolů, přepsaná nastavení spouštěcího prostředí a pravidla backendu odděleně, najdete v naší studii konfigurace Terminal-Bench.
Jeden pevně daný výdaj si lze zapamatovat. Přidejte rozmanité případy, například částky na hranici vyžadující schválení a chybějící účtenky, a u každého stanovte očekávaný výsledek; pro evaluaci vyhraďte samostatné případy. Spusťte vyhovující průběh a ověřte, že odměna funguje. Než se na ni při trénování spolehnete, změřte, jak často jí agent v počátečních pokusech dosáhne.
sapien1 pomáhá týmům vymezit rozsah prostředí pro úkoly a evaluovat agenty. Začněte pracovním postupem, reprezentativním úkolem a výsledkem, který potřebujete pozorovat.