शोध
रिटर्न की तुलना से पहले RL एपिसोड के लॉग कैसे जाँचें
औसत एपिसोड रिटर्न की तुलना करने से पहले देखें कि किन कार्रवाइयों और एपिसोड को गिना गया। डेटा इकट्ठा करने वाला सिस्टम रीसेट को एक ट्रांज़िशन मान सकता है, अगले एपिसोड का पहला अवलोकन पिछले एपिसोड के आखिरी ट्रांज़िशन में दर्ज कर सकता है, या समय सीमा पर रुके एपिसोड को छोड़ सकता है। Gymnasium 1.2.1 के तीन छोटे परीक्षण बताते हैं कि क्या देखना है।
लागू हुई कार्रवाइयाँ गिनें और अंतिम अवलोकन जाँचें। दो एनवायरनमेंट और step() को पाँच बार कॉल करने वाले सिंक्रोनस वेक्टर टेस्ट में दोनों रीसेट मोड ने स्लॉट के 10 नतीजे लौटाए। NextStep में दो नतीजे रीसेट से आए और आठ कार्रवाइयाँ लागू हुईं। SameStep में सभी 10 कार्रवाइयाँ लागू हुईं। तीन नतीजों में रीसेट के बाद का अवलोकन था, जहाँ ट्रांज़िशन के लिए अंतिम अवलोकन चाहिए था। उन स्लॉट के लिए infos["final_obs"] को उसके मास्क _final_obs से पढ़ें। हर स्लॉट में लागू कार्रवाइयों और सिर्फ़ रीसेट से आए नतीजों का मिलान करें। एपिसोड खत्म करने वाले ट्रांज़िशन पर दर्ज अगला अवलोकन जाँचें। Gymnasium 1.2.1 में वेक्टर एनवायरनमेंट का कोड
समाप्ति के दोनों फ़्लैग रखें। एक एनवायरनमेंट वाले टेस्ट में तीन में से दो एपिसोड मूल रूप से truncated=True के साथ खत्म हुए। उन दोनों में से एक में terminated=True भी था। पुराने done API में बदलकर वापस लाने पर केवल सीमा की वजह से रुके एपिसोड में truncated=True बचा। बदलने से पहले दोनों फ़्लैग सहेजें। जाँचें कि एक्सपोर्ट और इंपोर्ट के बाद दोनों बचे रहें, तब भी जब दोनों एक साथ सही हों। Gymnasium 1.2.1 में पुराने API से संगतता का कोड
दर्ज एपिसोड का मिलान बाहरी परत के स्टेप नतीजों से करें। एक एनवायरनमेंट वाले दूसरे टेस्ट में रैपर के दोनों क्रमों ने वही अवलोकन, रिवॉर्ड और समाप्ति के फ़्लैग लौटाए। दोनों एपिसोड के रिटर्न 1 और 2 थे। RecordEpisodeStatistics को TimeLimit के बाहर रखने पर दोनों एपिसोड आँकड़ों में आए और दर्ज औसत 1.5 था। आँकड़ों वाला रैपर अंदर था, तो केवल स्वाभाविक रूप से खत्म हुआ एपिसोड दर्ज हुआ और औसत 1.0 था। बाहरी समय सीमा ने रुकने का फ़्लैग तब लगाया जब अंदर का रैपर स्टेप प्रोसेस कर चुका था। सारांशों का मिलान बाहरी लॉग में एपिसोड ID और समाप्ति के फ़्लैग से करें। फिर अपने मेट्रिक में शामिल एपिसोड के रिटर्न से औसत दोबारा निकालें। Gymnasium 1.2.1 में रैपर का कोड
हर तुलना के लिए लाइब्रेरी का संस्करण, रैपर का क्रम, जहाँ लागू हो वहाँ रीसेट मोड और औसत में गिने गए एपिसोड की संख्या सहेजें। कुल नतीजा इस्तेमाल करने से पहले एक छोटे लॉग में हर एपिसोड की गिनती और रिटर्न जाँचें, जिसमें स्वाभाविक रूप से खत्म हुआ और मजबूरन रोका गया एपिसोड हो।