Araştırma
Getirileri karşılaştırmadan önce pekiştirmeli öğrenme bölüm kayıtları nasıl kontrol edilir?
Ortalama bölüm getirisini karşılaştırmadan önce hangi eylemlerin ve bölümlerin hesaba katıldığını kontrol edin. Veri toplayıcı bir sıfırlamayı geçiş olarak sayabilir, sonraki bölümün ilk gözlemini önceki bölümün son geçişine yazabilir veya süre sınırında biten bir bölümü atlayabilir. Gymnasium 1.2.1 ile yapılan üç kısa test neleri kontrol edeceğinizi gösteriyor.
Uygulanan eylemleri sayın ve son gözlemi kontrol edin. İki ortamlı ve step() işlevinin beş kez çağrıldığı eşzamanlı bir vektör testinde, iki sıfırlama modu da ortam yuvaları için 10 sonuç döndürdü. NextStep modunda iki sonuç sıfırlamadan geldi ve sekiz eylem uygulandı. SameStep modunda 10 eylemin tamamı uygulandı. Üç sonuçta, geçiş son gözlemi gerektirdiği hâlde sıfırlama sonrası gözlem yer aldı. Bu yuvalarda infos["final_obs"] değerini _final_obs maskesini kullanarak okuyun. Her ortam yuvası için uygulanan eylemleri ve yalnızca sıfırlamadan gelen sonuçları kontrol edin. Bölümü bitiren geçişlerde kaydedilen sonraki gözlemi inceleyin. Gymnasium 1.2.1 vektör ortamı uygulaması
İki bitiş işaretini de saklayın. Tek ortamlı bir testte üç bölümden ikisi başlangıçta truncated=True ile bitti. Bu ikisinden birinde terminated=True de vardı. Eski done API'sine dönüştürüp geri alınca yalnızca sınır nedeniyle kesilen bölümde truncated=True kaldı. Dönüştürmeden önce her işareti ayrı ayrı saklayın. İkisi aynı anda doğru olsa bile dışa ve içe aktarma sonrasında korunduklarını kontrol edin. Gymnasium 1.2.1 uyumluluk uygulaması
Kaydedilen bölümleri en dış katmandaki adım sonuçlarıyla karşılaştırın. Tek ortamlı ayrı bir testte sarmalayıcıların iki sırası da aynı gözlemleri, ödülleri ve bitiş işaretlerini döndürdü. İki bölümün getirileri 1 ve 2 idi. RecordEpisodeStatistics, TimeLimit dışında olduğunda iki bölüm de istatistiklerde yer aldı ve kaydedilen ortalama 1.5 oldu. İstatistik sarmalayıcısı içeride olduğunda yalnızca doğal biçimde biten bölüm kayda geçti ve ortalama 1.0 oldu. Dıştaki süre sınırı, içteki istatistik sarmalayıcısı adımı işledikten sonra kesilme işaretini ayarladı. Özetleri dış kayıttaki bölüm kimlikleri ve bitiş işaretleriyle eşleştirin. Sonra metriğe giren bölümlerin getirilerinden ortalamayı yeniden hesaplayın. Gymnasium 1.2.1 sarmalayıcı uygulaması
Her karşılaştırmada kitaplık sürümünü, sarmalayıcı sırasını, varsa sıfırlama modunu ve ortalamaya giren bölüm sayısını kaydedin. Toplu sonucu kullanmadan önce doğal bitiş ve zorunlu kesilme içeren kısa bir kayıtta sayıları ve bölüm başına getirileri kontrol edin.