# रिटर्न की तुलना से पहले RL एपिसोड के लॉग कैसे जाँचें

औसत एपिसोड रिटर्न की तुलना करने से पहले देखें कि किन कार्रवाइयों और एपिसोड को गिना गया। डेटा इकट्ठा करने वाला सिस्टम रीसेट को एक ट्रांज़िशन मान सकता है, अगले एपिसोड का पहला अवलोकन पिछले एपिसोड के आखिरी ट्रांज़िशन में दर्ज कर सकता है, या समय सीमा पर रुके एपिसोड को छोड़ सकता है। Gymnasium 1.2.1 के तीन छोटे परीक्षण बताते हैं कि क्या देखना है।

**लागू हुई कार्रवाइयाँ गिनें और अंतिम अवलोकन जाँचें।** दो एनवायरनमेंट और `step()` को पाँच बार कॉल करने वाले सिंक्रोनस वेक्टर टेस्ट में दोनों रीसेट मोड ने स्लॉट के 10 नतीजे लौटाए। `NextStep` में दो नतीजे रीसेट से आए और आठ कार्रवाइयाँ लागू हुईं। `SameStep` में सभी 10 कार्रवाइयाँ लागू हुईं। तीन नतीजों में रीसेट के बाद का अवलोकन था, जहाँ ट्रांज़िशन के लिए अंतिम अवलोकन चाहिए था। उन स्लॉट के लिए `infos["final_obs"]` को उसके मास्क `_final_obs` से पढ़ें। हर स्लॉट में लागू कार्रवाइयों और सिर्फ़ रीसेट से आए नतीजों का मिलान करें। एपिसोड खत्म करने वाले ट्रांज़िशन पर दर्ज अगला अवलोकन जाँचें। [Gymnasium 1.2.1 में वेक्टर एनवायरनमेंट का कोड](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**की गई कार्रवाइयाँ**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**समाप्ति के दोनों फ़्लैग रखें।** एक एनवायरनमेंट वाले टेस्ट में तीन में से दो एपिसोड मूल रूप से `truncated=True` के साथ खत्म हुए। उन दोनों में से एक में `terminated=True` भी था। पुराने `done` API में बदलकर वापस लाने पर केवल सीमा की वजह से रुके एपिसोड में `truncated=True` बचा। बदलने से पहले दोनों फ़्लैग सहेजें। जाँचें कि एक्सपोर्ट और इंपोर्ट के बाद दोनों बचे रहें, तब भी जब दोनों एक साथ सही हों। [Gymnasium 1.2.1 में पुराने API से संगतता का कोड](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**दर्ज एपिसोड का मिलान बाहरी परत के स्टेप नतीजों से करें।** एक एनवायरनमेंट वाले दूसरे टेस्ट में रैपर के दोनों क्रमों ने वही अवलोकन, रिवॉर्ड और समाप्ति के फ़्लैग लौटाए। दोनों एपिसोड के रिटर्न 1 और 2 थे। `RecordEpisodeStatistics` को `TimeLimit` के बाहर रखने पर दोनों एपिसोड आँकड़ों में आए और दर्ज औसत 1.5 था। आँकड़ों वाला रैपर अंदर था, तो केवल स्वाभाविक रूप से खत्म हुआ एपिसोड दर्ज हुआ और औसत 1.0 था। बाहरी समय सीमा ने रुकने का फ़्लैग तब लगाया जब अंदर का रैपर स्टेप प्रोसेस कर चुका था। सारांशों का मिलान बाहरी लॉग में एपिसोड ID और समाप्ति के फ़्लैग से करें। फिर अपने मेट्रिक में शामिल एपिसोड के रिटर्न से औसत दोबारा निकालें। [Gymnasium 1.2.1 में रैपर का कोड](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

हर तुलना के लिए लाइब्रेरी का संस्करण, रैपर का क्रम, जहाँ लागू हो वहाँ रीसेट मोड और औसत में गिने गए एपिसोड की संख्या सहेजें। कुल नतीजा इस्तेमाल करने से पहले एक छोटे लॉग में हर एपिसोड की गिनती और रिटर्न जाँचें, जिसमें स्वाभाविक रूप से खत्म हुआ और मजबूरन रोका गया एपिसोड हो।

[स्क्रिप्ट और सहेजे गए लॉग डाउनलोड करें (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
