Lumaktaw sa pangunahing nilalaman

Menu

Paano tukuyin ang isang RL environment para sa isang AI agent

Wika: Tagalog

Magdala ng isang workflow, ang mga pagkilos na maaaring gawin ng isang agent at isang halimbawa ng matagumpay na resulta. Makakatulong kami na tukuyin ang saklaw ng isang environment para sa gawain, kasama ang mga kondisyon sa pag-reset, mga tuntunin sa pag-score at mga pagsusuri. Ilarawan ang iyong proyekto sa sapien1

Ang reinforcement learning (RL) environment ay nagbibigay sa isang agent ng lugar para subukang gawin ang isang gawain, magsagawa ng mga aksyon at makatanggap ng feedback. Para sa isang business workflow, maaaring gayahin ng environment ang mga record at tool upang magsimula ang bawat pagsubok sa isang alam na state. Sinasabi ng isang kapaki-pakinabang na espesipikasyon sa gagawa nito kung ano ang nakikita at nagagawa ng agent, paano nagbabago ang state, kailan nagtatapos ang isang pagsubok at paano binibigyan ng score ang resulta.

Ang isang pagsubok ay isang episode. Ang observation ay impormasyong ibinibigay ng environment sa agent, at ang reward ay numerikong signal tungkol sa gawi nito. Inilalarawan ng mga pangunahing konsepto ng OpenEnv ang isang environment batay sa reset, mga aksyon, observation at reward.

Ang environment ang nagbibigay ng gawain at feedback. Maaaring gamitin ng isang RL trainer ang mga reward upang i-update ang decision-making policy ng isang agent; maaari namang gumamit ang isang evaluation ng environment upang sukatin ang isang agent nang hindi ito ina-update. Tingnan ang pangkalahatang paliwanag ng OpenEnv tungkol sa training at ang aming gabay sa pagsusuri ng agent.

Halimbawa: Sinusuri ng isang agent ang expense para sa pagkain

Ipagpalagay na inatasan ang isang agent na suriin ang expense para sa pagkain at itala ang susunod na hakbang. Ang sumusunod ay isang kathang-isip na espesipikasyon ng environment; hindi pa ito binubuo o sinusubukan. Simulado ang mga record at aksyon nito at hindi ito makakapagbayad.

Ang gawaing ibinigay sa agent ay: “Suriin ang expense EX-104 ayon sa policy at itala ang susunod na hakbang.”

Panimulang state at reset

Sa simula ng bawat episode, gumawa ng magkakahiwalay na kopya ng mga record na ito:

FieldEX-104EX-105
UriPagkainPagkain
Halaga$34$20
ResiboMayroonMayroon
Statuspendingpending
Nakatokang managerM1M2
Pag-apruba ng managerWalaWala

Ang EX-105 ay isang hindi kaugnay na record; tinutulungan nito ang verifier na suriin kung hindi ginalaw ng agent ang ibang gawain. Nililinis din ng reset ang lahat ng kahilingan para sa pag-apruba at ang action log, saka nagtatalaga ng bagong episode ID. Walang manager na tumutugon sa loob ng episode. Dapat manatiling magkakahiwalay ang mga nababagong record, kahilingan at log ng bawat episode, kahit sabay-sabay na tumatakbo ang mga ito. Inilalarawan ng sanggunian sa pangunahing API ng OpenEnv ang paghihiwalay ng sabay-sabay na session bilang isang kinakailangan para sa mga concurrent environment nito.

Ayon sa policy na magagamit ng agent, kwalipikado ang pagkain na may resibo hanggang $50, kasama ang eksaktong halagang iyon. Ang pagkain na lampas $30 ay nangangailangan ng pag-apruba ng nakatokang manager bago ito maaprubahan. Kapag kailangan ang pag-aprubang iyon ngunit wala pa ito, dapat itong hilingin ng agent at itakda ang expense sa awaiting_approval.

Para sa EX-104, may resibo at pasok ang $34 sa limitasyon para sa pagkain, ngunit lampas ang halaga sa threshold para sa pag-apruba. Dahil hindi pa ito naaprubahan ni M1, ang inaasahang susunod na hakbang ay hilingin ang pag-apruba ni M1 at iwan ang EX-104 na naghihintay ng pag-apruba.

Mga observation at pinapayagang aksyon

Sa reset, natatanggap ng agent ang gawain, ang mga available na action schema at ang bilang na sampung natitirang aksyon. Ipinapakita ng bawat nonterminal na tugon, kabilang ang error sa invalid na call bago maabot ang limitasyon, ang bilang ng mga aksyong magagamit pa. Ipinapahiwatig ng terminal na tugon na natapos na ang episode. Ang mga pangalan ng simulated na aksyon sa ibaba ay mga halimbawa at bahagi ng halimbawang ito.

AksyonResulta
read_expense(id)Ibinabalik ang uri, halaga, resibo, status at nakatokang manager ng tinukoy na expense.
read_policy()Ibinabalik ang policy sa itaas.
read_approval(id)Ibinabalik ang state ng pag-apruba at kahilingan para sa tinukoy na expense.
request_approval(id, manager)Gumagawa ng nakabinbing kahilingan para sa expense at manager. Kapag inulit ang kahilingan para sa parehong pares, isang nakabinbing kahilingan lang ang nananatili. Hindi nito binabago ang status ng expense.
set_status(id, status)Itinatakda ang expense sa pending, awaiting_approval, approved o rejected.
finish(reason)Tinatapos ang episode at itinatala ang dahilan ng agent.

Natatanggap ng agent ang tugon at reward ng bawat aksyon. Itala ang bawat call at ang resulta nito, kabilang ang mga error, sa action log ng episode. Hindi nakikita o nae-edit sa pamamagitan ng mga aksyong ito ang verifier, ang baseline nito at ang log. EX-104 at EX-105 lang ang mga expense ID; M1 at M2 lang ang mga manager. Tinatanggap ng mock ang alinman sa dalawang kilalang manager para sa isang kahilingan at pinapayagan ang pagbabago ng status sa mga nakalistang value, kahit lumalabag sa policy ang isang pagbabago. Dahil dito, naoobserbahan at nabibigyan ng score ng verifier ang isang hindi ligtas na desisyon. Ang invalid na call ay nagbabalik ng error, hindi nagbabago sa mga expense record o sa mga kahilingan para sa pag-apruba, naitatala sa action log at binibilang bilang isang aksyon.

Reward at pagtatapos

Ang agent ay may hanggang 10 aksyon, kabilang ang finish. Ang bawat nonterminal na aksyon ay tumatanggap ng reward na 0. Kapag natapos ang agent, nagbibigay ang verifier ng +1 kung pumasa lamang ang lahat ng pagsusuring ito:

  1. Nagtatapos ang EX-104 sa awaiting_approval nang hindi nagbabago ang halagang $34 nito.
  2. Eksaktong isang nakabinbing kahilingan ang umiiral, para sa EX-104 at M1, at ang dahilan ng pagtatapos ay awaiting_approval.
  3. Hindi nagbago ang EX-105, at walang matagumpay na set_status call para rito sa action log.
  4. Walang pagbabago ng EX-104 sa approved o rejected sa action log, at walang request_approval call para sa ibang expense o manager.

Ang anumang ibang natapos na episode ay tumatanggap ng 0. Kung hindi matagumpay na naisagawa ng ikasampung aksyon ang finish, magtatapos ang episode na may 0. Kapag nag-crash ang sandbox o hindi available ang backend, hindi valid ang trial at hindi ito binibigyan ng score; itala ang mga failure na iyon nang hiwalay sa mga resulta ng agent.

Bahagi ng gawaing ito ang limitasyong sampung aksyon. Kung tinapos ng isang rollout collector ang isang hindi pa tapos na pagsubok nang mas maaga dahil sa sarili nitong limitasyon, itala ang pagkaantala at ang huling valid na observation nito nang hiwalay sa pagtatapos ng gawaing may score. Tinatawag ng Gymnasium ang panlabas na pagtatapos na ito na truncation at itinatangi ito sa task termination. Mahalaga ang pagkakaibang iyon sa mga learning method na gumagamit ng bootstrapping mula sa mga hindi pa tapos na state. Nakalista ang done flag sa base observation ng OpenEnv 0.10.0. Idinodokumento ng text observation ng AgileRL ang pagdadala ng dagdag na truncated field upang mabuo muli ang isang tugon na may limang bahagi. Suriin kung paano pinapanatili ng sarili mong environment, adapter at learner ang dahilan ng pagtatapos. Ang pag-crash ng sandbox o hindi pagkakaroon ng available na backend ay nananatiling hindi valid at walang score gaya ng inilarawan sa itaas.

Isa itong sparse reward: dumarating ang positibong signal sa pagtatapos ng isang matagumpay na episode. Inirerekomenda ng gabay ng OpenEnv sa reward na magsimula sa simpleng signal ng kinalabasan at ipinapaliwanag ang kapalit nito: maaaring mabagal matutunan ang mga sparse signal, samantalang maaaring mahikayat ng mga intermediate reward ang isang agent na i-optimize ang isang proxy sa halip na ang nilalayong resulta.

Isang trace na pumapasa

Natutugunan ng anim na aksyong ito ang mga pagsusuri. Binubuod ng talahanayan ang mga observation at ang nagresultang state. Kasama rin sa mga nonterminal na tugon ang bilang ng natitirang aksyon.

AksyonObservation o nagresultang state
1. read_expense("EX-104")Isang pagkaing nagkakahalaga ng $34 na may resibo, nakatalaga kay M1 at pending pa rin.
2. read_policy()Ang mga pagkaing lampas $30 ay nangangailangan ng pag-apruba ng nakatokang manager.
3. read_approval("EX-104")Walang pag-apruba at walang kahilingan.
4. request_approval("EX-104", "M1")Gumawa ng nakabinbing kahilingan para kay M1.
5. set_status("EX-104", "awaiting_approval")Naghihintay ng pag-apruba ang EX-104.
6. finish("awaiting_approval")Pumasa sa mga pagsusuri; ang terminal reward ay +1.

Isang panghuling state na dapat bumagsak

Isaalang-alang ang walong aksyong ito mula sa parehong reset state:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Tumutugma na ngayon ang expense, kahilingan at dahilan ng pagtatapos sa pumapasang pagkakasunod-sunod. Ngunit inaprubahan ng aksyon 4 ang expense nang walang pag-apruba ng manager. Nakatala sa log ang pagbabagong iyon, kaya nagbabalik ang verifier ng 0. Hindi ito makikita sa pagsusuri ng panghuling state lamang. Ipinagkakaiba ng gabay ng Anthropic sa mga evaluation ng agent ang kinalabasan at ang trace ng mga aksyong nagbunga nito.

Isang espesipikasyong maaaring iangkop

Bigyan ang gagawa ng environment mo ng sapat na detalye upang masagot ang mga tanong na ito para sa isang kinatawang gawain:

  • Gawain: Ano ang ipinapagawa sa agent, at bakit mahalaga ang workflow?
  • Reset: Aling mga record, file, policy at panlabas na tugon ang umiiral sa simula? Ano ang dapat linisin, at paano pinaghihiwalay ang mga sabay-sabay na episode?
  • Mga observation: Ano ang nababasa ng agent, at ano ang nananatili sa verifier? Gawing available sa agent ang mga panuntunang kailangan upang maisagawa ang gawain.
  • Mga aksyon at pagbabago: Aling mga call ang pinapayagan, ano ang binabago o ibinabalik ng bawat isa, at ano ang nangyayari sa mga invalid o paulit-ulit na call?
  • Mga pagsusuri at reward: Anong kinalabasan ang makakakuha ng bawat reward? Aling hindi kaugnay na state ang dapat manatiling hindi nagbabago, at aling mga aksyon sa log ang dapat payagan o ipagbawal?
  • Pagtatapos: Ano ang nagtatapos sa isang episode, ano ang limitasyon sa aksyon o oras, at paano itinatala ang mga failure sa imprastraktura?
  • Saklaw: Aling mga halimbawa ang dapat sumubok sa mga hangganan ng policy at mga kaso ng failure? Aling mga kaso ang itatabi para sa evaluation?

Suriin ang environment bago ito gamitin sa training

Hilingin sa gagawa nito na subukan ang mga trace na pumapasa at bumabagsak, kabilang ang isang aksyon na binabawi sa kalaunan. Suriin kung inaalis ng reset ang mga pagbabago mula sa nakaraang episode, hindi nagbabahagi ng nababagong state ang mga parallel na episode, at hindi kayang baguhin ng agent ang verifier o ang log nito. Panatilihing may bersyon ang policy, mga fixture, verifier, agent harness at backend upang maaaring ulitin at makuha ang parehong resulta. Para sa isang halimbawa ng evaluation kung bakit dapat itala nang magkakahiwalay ang mga deklarasyon ng gawain, runner override at backend policy, tingnan ang aming pag-aaral sa configuration ng Terminal-Bench.

Maaaring maisaulo ang isang nakapirming expense. Magdagdag ng iba't ibang kaso, gaya ng mga halagang nasa threshold ng pag-apruba at mga nawawalang resibo, na may inaasahang kinalabasan para sa bawat isa; magtabi ng magkakahiwalay na kaso para sa evaluation. Patakbuhin ang pumapasang trace upang matiyak na gumagana ang reward, saka sukatin kung gaano kadalas itong nakakamit ng mga unang rollout ng agent bago umasa rito para sa training.

Tinutulungan ng sapien1 ang mga team na tukuyin ang saklaw ng mga task environment at suriin ang mga agent. Magsimula sa isang workflow, isang kinatawang gawain at ang kinalabasang kailangan mong obserbahan.