# Getirileri karşılaştırmadan önce pekiştirmeli öğrenme bölüm kayıtları nasıl kontrol edilir?

Ortalama bölüm getirisini karşılaştırmadan önce hangi eylemlerin ve bölümlerin hesaba katıldığını kontrol edin. Veri toplayıcı bir sıfırlamayı geçiş olarak sayabilir, sonraki bölümün ilk gözlemini önceki bölümün son geçişine yazabilir veya süre sınırında biten bir bölümü atlayabilir. Gymnasium 1.2.1 ile yapılan üç kısa test neleri kontrol edeceğinizi gösteriyor.

**Uygulanan eylemleri sayın ve son gözlemi kontrol edin.** İki ortamlı ve `step()` işlevinin beş kez çağrıldığı eşzamanlı bir vektör testinde, iki sıfırlama modu da ortam yuvaları için 10 sonuç döndürdü. `NextStep` modunda iki sonuç sıfırlamadan geldi ve sekiz eylem uygulandı. `SameStep` modunda 10 eylemin tamamı uygulandı. Üç sonuçta, geçiş son gözlemi gerektirdiği hâlde sıfırlama sonrası gözlem yer aldı. Bu yuvalarda `infos["final_obs"]` değerini `_final_obs` maskesini kullanarak okuyun. Her ortam yuvası için uygulanan eylemleri ve yalnızca sıfırlamadan gelen sonuçları kontrol edin. Bölümü bitiren geçişlerde kaydedilen sonraki gözlemi inceleyin. [Gymnasium 1.2.1 vektör ortamı uygulaması](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Uygulanan eylemler**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**İki bitiş işaretini de saklayın.** Tek ortamlı bir testte üç bölümden ikisi başlangıçta `truncated=True` ile bitti. Bu ikisinden birinde `terminated=True` de vardı. Eski `done` API'sine dönüştürüp geri alınca yalnızca sınır nedeniyle kesilen bölümde `truncated=True` kaldı. Dönüştürmeden önce her işareti ayrı ayrı saklayın. İkisi aynı anda doğru olsa bile dışa ve içe aktarma sonrasında korunduklarını kontrol edin. [Gymnasium 1.2.1 uyumluluk uygulaması](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Kaydedilen bölümleri en dış katmandaki adım sonuçlarıyla karşılaştırın.** Tek ortamlı ayrı bir testte sarmalayıcıların iki sırası da aynı gözlemleri, ödülleri ve bitiş işaretlerini döndürdü. İki bölümün getirileri 1 ve 2 idi. `RecordEpisodeStatistics`, `TimeLimit` dışında olduğunda iki bölüm de istatistiklerde yer aldı ve kaydedilen ortalama 1.5 oldu. İstatistik sarmalayıcısı içeride olduğunda yalnızca doğal biçimde biten bölüm kayda geçti ve ortalama 1.0 oldu. Dıştaki süre sınırı, içteki istatistik sarmalayıcısı adımı işledikten sonra kesilme işaretini ayarladı. Özetleri dış kayıttaki bölüm kimlikleri ve bitiş işaretleriyle eşleştirin. Sonra metriğe giren bölümlerin getirilerinden ortalamayı yeniden hesaplayın. [Gymnasium 1.2.1 sarmalayıcı uygulaması](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Her karşılaştırmada kitaplık sürümünü, sarmalayıcı sırasını, varsa sıfırlama modunu ve ortalamaya giren bölüm sayısını kaydedin. Toplu sonucu kullanmadan önce doğal bitiş ve zorunlu kesilme içeren kısa bir kayıtta sayıları ve bölüm başına getirileri kontrol edin.

[Betikleri ve kaydedilmiş günlükleri indirin (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
