Pananaliksik
Paano suriin ang mga log ng episode ng RL bago ihambing ang mga return
Bago ihambing ang average na return sa bawat episode, suriin kung aling mga aksiyon at episode ang nabilang. Maaaring bilangin ng tagakolekta ng datos ang pag-reset bilang transition, itala ang unang obserbasyon ng bagong episode sa huling transition ng nauna, o malaktawan ang episode na umabot sa takdang oras. Ipinapakita ng tatlong maikling pagsubok sa Gymnasium 1.2.1 kung ano ang susuriin.
Bilangin ang mga isinagawang aksiyon at suriin ang huling obserbasyon. Sa sabayang vector test na may dalawang environment at limang tawag sa step(), parehong nagbigay ng 10 resulta para sa mga slot ng environment ang dalawang paraan ng pag-reset. Sa NextStep, dalawang resulta ang galing sa pag-reset at walong aksiyon ang isinagawa. Sa SameStep, isinagawa ang lahat ng 10 aksiyon. Tatlong resulta ang naglaman ng obserbasyon pagkatapos mag-reset kung saan kailangan ng transition ang huling obserbasyon. Para sa mga slot na iyon, basahin ang infos["final_obs"] gamit ang mask na _final_obs. Suriin sa bawat slot ang mga isinagawang aksiyon at ang mga resultang galing lamang sa pag-reset. Tingnan ang nakatalang susunod na obserbasyon sa mga transition na nagsasara ng episode. Implementasyon ng vector sa Gymnasium 1.2.1
Itabi ang parehong flag ng pagtatapos. Sa pagsubok na may isang environment, dalawang episode sa tatlo ang unang nagtapos na may truncated=True. May terminated=True din ang isa sa dalawa. Pagkatapos i-convert sa lumang API na done at ibalik, tanging ang episode na natigil dahil lamang sa limitasyon ang mayroon pa ring truncated=True. Itabi ang bawat flag bago mag-convert. Tiyaking napanatili ang pareho sa pag-export at pag-import, kasama ang mga pagkakataong parehong true ang mga ito. Implementasyon ng compatibility sa Gymnasium 1.2.1
Itugma ang mga nakatalang episode sa mga resulta mula sa pinakalabas na layer. Sa hiwalay na pagsubok na may isang environment, parehong nagbalik ng magkakatulad na obserbasyon, reward, at flag ang dalawang ayos ng mga wrapper. Ang return ng dalawang episode ay 1 at 2. Kapag nasa labas ng TimeLimit ang RecordEpisodeStatistics, parehong kasama ang mga episode sa estadistika at 1.5 ang naitalang average. Kapag nasa loob ang wrapper ng estadistika, ang episode na natural na natapos lang ang kasama at 1.0 ang average. Itinakda ng panlabas na limitasyon sa oras ang flag ng paghinto matapos iproseso ng panloob na wrapper ang hakbang. Itugma ang mga buod sa mga ID ng episode at flag ng pagtatapos sa panlabas na log. Kalkulahin ulit ang average gamit ang return ng mga episode na kasama sa sukatan. Implementasyon ng mga wrapper sa Gymnasium 1.2.1
Sa bawat paghahambing, itabi ang bersiyon ng library, ayos ng mga wrapper, paraan ng pag-reset kung naaangkop, at bilang ng mga episode sa average. Bago gamitin ang pangkalahatang resulta, suriin ang bilang at return bawat episode sa maikling log na may natural na pagtatapos at sapilitang paghinto.