Jak określić środowisko RL dla agenta AI
Język: Polski
Przedstaw jeden proces, działania, które agent może podejmować, oraz przykład pomyślnego wyniku. Możemy pomóc określić zakres środowiska zadaniowego z warunkami resetowania, zasadami oceny i kryteriami kontroli. Opisz swój projekt zespołowi sapien1
Środowisko uczenia przez wzmacnianie (RL) zapewnia agentowi miejsce, w którym może podejmować próby wykonania zadania, wykonywać działania i otrzymywać informacje zwrotne. W przypadku procesu biznesowego środowisko może symulować rekordy i narzędzia, tak aby każda próba rozpoczynała się od znanego stanu. Przydatna specyfikacja mówi osobie tworzącej środowisko, co agent może widzieć i robić, jak zmienia się stan, kiedy kończy się próba i jak oceniany jest wynik.
Jedna próba to epizod. Obserwacja to informacja przekazywana agentowi przez środowisko, a nagroda to liczbowy sygnał dotyczący jego zachowania. Podstawowe pojęcia OpenEnv opisują środowisko za pomocą resetowania, działań, obserwacji i nagród.
Środowisko dostarcza zadanie i informacje zwrotne. System trenujący RL może wykorzystać nagrody do aktualizacji polityki podejmowania decyzji przez agenta. Z kolei ewaluacja może wykorzystać środowisko do pomiaru działania agenta bez jego aktualizowania. Zobacz omówienie trenowania w OpenEnv oraz nasz przewodnik po ewaluacji agentów.
Przykład: agent weryfikuje wydatek na posiłek
Załóżmy, że agent ma zweryfikować wydatek na posiłek i zapisać kolejny krok. Poniżej przedstawiono fikcyjną specyfikację środowiska, którego nie zbudowano ani nie przetestowano. Jego rekordy i działania są symulowane i nie mogą realizować płatności.
Zadanie przekazane agentowi brzmi: „Zweryfikuj wydatek EX-104 zgodnie z zasadami i zapisz kolejny krok.”
Stan początkowy i reset
Na początku każdego epizodu utwórz niezależne kopie tych rekordów:
| Pole | EX-104 | EX-105 |
|---|---|---|
| Typ | Posiłek | Posiłek |
| Kwota | $34 | $20 |
| Dowód zakupu | Obecny | Obecny |
| Status | pending | pending |
| Przypisany menedżer | M1 | M2 |
| Zatwierdzenie przez menedżera | Brak | Brak |
EX-105 to niepowiązany rekord, który pomaga weryfikatorowi sprawdzić, czy agent nie ingeruje w inne zadania. Reset usuwa też wszystkie prośby o zatwierdzenie i czyści dziennik działań, a następnie przypisuje nowy identyfikator epizodu. Żaden menedżer nie odpowiada w trakcie epizodu. Epizody muszą przechowywać swoje zmienne rekordy, prośby i dzienniki oddzielnie, także wtedy, gdy są uruchomione jednocześnie. W podstawowej dokumentacji API OpenEnv izolacja równoczesnych sesji jest opisana jako wymóg dla środowisk obsługujących współbieżność.
Zasady dostępne agentowi mówią, że posiłek z dowodem zakupu kwalifikuje się do rozliczenia do kwoty 50 USD włącznie. Posiłek o wartości powyżej 30 USD wymaga zatwierdzenia przez przypisanego menedżera, zanim wydatek będzie można zatwierdzić. Gdy takie zatwierdzenie jest wymagane, ale go brakuje, agent powinien o nie poprosić i ustawić status wydatku na awaiting_approval.
W przypadku EX-104 dowód zakupu jest obecny, a kwota 34 USD mieści się w limicie na posiłek, ale przekracza próg wymagający zatwierdzenia. Ponieważ M1 nie zatwierdził wydatku, oczekiwanym kolejnym krokiem jest poproszenie M1 o zatwierdzenie i pozostawienie EX-104 w stanie oczekiwania na zatwierdzenie.
Obserwacje i dozwolone działania
Po resecie agent otrzymuje zadanie, schematy dostępnych działań oraz informację, że pozostało dziesięć działań. Każda odpowiedź niekończąca epizodu, w tym błąd nieprawidłowego wywołania przed osiągnięciem limitu, pokazuje liczbę nadal dostępnych działań. Odpowiedź końcowa oznacza zakończenie epizodu. Poniższe nazwy symulowanych działań mają charakter ilustracyjny i należą do tego przykładu.
| Działanie | Wynik |
|---|---|
read_expense(id) | Zwraca typ, kwotę, dowód zakupu, status i przypisanego menedżera wskazanego wydatku. |
read_policy() | Zwraca powyższe zasady. |
read_approval(id) | Zwraca informacje o zatwierdzeniu i stanie prośby dla wskazanego wydatku. |
request_approval(id, manager) | Tworzy oczekującą prośbę dla wskazanego wydatku i menedżera. Ponowienie prośby dla tej samej pary pozostawia jedną oczekującą prośbę. Nie zmienia statusu wydatku. |
set_status(id, status) | Ustawia status wydatku na pending, awaiting_approval, approved lub rejected. |
finish(reason) | Kończy epizod i zapisuje powód podany przez agenta. |
Agent otrzymuje odpowiedź i nagrodę za każde działanie. Zapisuj każde wywołanie i jego wynik, w tym błędy, w dzienniku działań epizodu. Weryfikator, jego stan bazowy i dziennik nie są widoczne ani możliwe do edycji za pomocą tych działań. Jedyne identyfikatory wydatków to EX-104 i EX-105, a jedyni menedżerowie to M1 i M2. Symulacja przyjmuje w prośbie dowolnego z tych znanych menedżerów i pozwala zmieniać status między wymienionymi wartościami, nawet gdy zmiana narusza zasady. Dzięki temu weryfikator może zaobserwować i ocenić niebezpieczną decyzję. Nieprawidłowe wywołanie zwraca błąd, nie zmienia ani rekordów wydatków, ani próśb o zatwierdzenie, jest zapisywane w dzienniku działań i liczy się jako działanie.
Nagroda i zakończenie
Agent ma do dyspozycji maksymalnie 10 działań, w tym finish. Każde działanie niekończące epizodu otrzymuje nagrodę 0. Gdy agent zakończy epizod, weryfikator przyznaje +1 tylko wtedy, gdy spełnione są wszystkie poniższe warunki:
- EX-104 kończy epizod ze statusem
awaiting_approval, a jego kwota pozostaje niezmieniona i wynosi 34 USD. - Istnieje dokładnie jedna oczekująca prośba, dotycząca EX-104 i M1, a powód zakończenia to
awaiting_approval. - EX-105 pozostaje bez zmian, a dziennik działań nie zawiera żadnego zakończonego powodzeniem wywołania
set_statusdla tego wydatku. - Dziennik działań nie zawiera zmiany statusu EX-104 na
approvedanirejectedani żadnego wywołaniarequest_approvaldla innego wydatku lub menedżera.
Każdy inny zakończony epizod otrzymuje 0. Jeśli dziesiąte działanie nie wykona pomyślnie finish, epizod kończy się z wynikiem 0. Awaria środowiska sandbox lub niedostępność backendu sprawia, że próba jest nieważna i nie podlega ocenie; zapisuj takie awarie oddzielnie od wyników agenta.
Limit dziesięciu działań jest częścią tego zadania. Jeśli mechanizm zbierający przebiegi wcześniej zakończy niezakończoną próbę z powodu własnego limitu, zapisz to przerwanie i ostatnią prawidłową obserwację oddzielnie od ocenianego zakończenia zadania. Gymnasium nazywa takie zewnętrzne zakończenie obcięciem i odróżnia je od zakończenia zadania. To rozróżnienie ma znaczenie dla metod uczenia, które szacują wartość na podstawie stanów niezakończonych. Bazowa obserwacja OpenEnv 0.10.0 zawiera flagę done. W dokumentacji obserwacji tekstowej AgileRL opisano przekazywanie dodatkowego pola truncated w celu odtworzenia pięcioczęściowej odpowiedzi. Sprawdź, jak Twoje środowisko, adapter i mechanizm uczący zachowują powód zakończenia. Awaria środowiska sandbox lub niedostępność backendu nadal oznacza nieważną i nieocenianą próbę, jak opisano powyżej.
To nagroda rzadka: pozytywny sygnał pojawia się na końcu udanego epizodu. Wskazówki OpenEnv dotyczące nagród zalecają rozpoczęcie od prostego sygnału wyniku i wyjaśniają kompromis: uczenie na podstawie rzadkich sygnałów może być powolne, a nagrody pośrednie mogą zachęcać agenta do optymalizacji wskaźnika zastępczego zamiast zamierzonego wyniku.
Przebieg spełniający warunki
Ta sekwencja sześciu działań spełnia warunki kontroli. Tabela podsumowuje obserwacje i wynikowy stan. Odpowiedzi niekończące epizodu zawierają również liczbę pozostałych działań.
| Działanie | Obserwacja lub wynikowy stan |
|---|---|
1. read_expense("EX-104") | Posiłek za 34 USD z dowodem zakupu, przypisany do M1 i nadal ze statusem pending. |
2. read_policy() | Posiłki o wartości powyżej 30 USD wymagają zatwierdzenia przez przypisanego menedżera. |
3. read_approval("EX-104") | Brak zatwierdzenia i brak prośby. |
4. request_approval("EX-104", "M1") | Powstaje oczekująca prośba do M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 oczekuje na zatwierdzenie. |
6. finish("awaiting_approval") | Wszystkie warunki są spełnione; nagroda końcowa wynosi +1. |
Stan końcowy, który powinien nie spełnić warunków
Rozważ tę sekwencję ośmiu działań po przywróceniu tego samego stanu początkowego:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Wydatek, prośba i powód zakończenia odpowiadają teraz sekwencji spełniającej warunki. Jednak w działaniu 4 wydatek został zatwierdzony bez zgody menedżera. Dziennik zapisuje tę zmianę, więc weryfikator zwraca 0. Sprawdzenie samego stanu końcowego by tego nie wykryło. Przewodnik Anthropic po ewaluacji agentów odróżnia wynik od przebiegu działań, które do niego doprowadziły.
Specyfikacja do dostosowania
Przekaż osobie tworzącej środowisko wystarczająco dużo szczegółów, aby mogła odpowiedzieć na poniższe pytania dotyczące jednego reprezentatywnego zadania:
- Zadanie: Co agent ma zrobić i dlaczego ten proces jest ważny?
- Reset: Jakie rekordy, pliki, zasady i odpowiedzi zewnętrzne są dostępne na początku? Co trzeba wyczyścić i jak izolowane są jednoczesne epizody?
- Obserwacje: Co agent może odczytać, a co pozostaje do dyspozycji weryfikatora? Udostępnij agentowi zasady potrzebne do wykonania zadania.
- Działania i przejścia: Które wywołania są dozwolone, co każde z nich zmienia lub zwraca i co dzieje się w przypadku nieprawidłowych lub powtórzonych wywołań?
- Kontrole i nagroda: Jaki wynik zapewnia każdą nagrodę? Który niepowiązany stan musi pozostać bez zmian oraz które działania w dzienniku muszą być dozwolone lub zabronione?
- Zakończenie: Co kończy epizod, jaki jest limit działań lub czasu i jak zapisywane są awarie infrastruktury?
- Pokrycie: Które przykłady powinny sprawdzać wartości graniczne zasad i przypadki niepowodzenia? Które przypadki zostaną odłożone do ewaluacji?
Sprawdź środowisko przed użyciem go do trenowania
Poproś osobę tworzącą środowisko o sprawdzenie przebiegów spełniających i niespełniających warunków, w tym działania, które zostanie później odwrócone. Sprawdź, czy reset usuwa zmiany z poprzedniego epizodu, równoległe epizody nie współdzielą zmiennego stanu, a agent nie może zmienić weryfikatora ani jego dziennika. Wersjonuj zasady, dane testowe, weryfikator, mechanizm uruchamiający agenta i backend, aby wynik można było odtworzyć. Przykład ewaluacji pokazujący, dlaczego deklaracje zadań, ustawienia nadpisujące mechanizmu uruchamiającego i zasady backendu należy zapisywać oddzielnie, znajdziesz w naszym badaniu konfiguracji Terminal-Bench.
Jeden stały wydatek można zapamiętać. Dodaj zróżnicowane przypadki, takie jak kwoty na progu zatwierdzenia i brakujące dowody zakupu, określając oczekiwany wynik każdego z nich; zachowaj oddzielne przypadki do ewaluacji. Uruchom przebieg spełniający warunki, aby sprawdzić działanie nagrody, a następnie zmierz, jak często początkowe przebiegi agenta ją osiągają, zanim wykorzystasz ją w trenowaniu.
sapien1 pomaga zespołom określać zakres środowisk zadań i oceniać agentów. Zacznij od procesu, reprezentatywnego zadania i wyniku, który chcesz zaobserwować.