أبحاث
كيف تتحقّق من سجلات حلقات التعلّم المعزّز قبل مقارنة العوائد
قبل مقارنة متوسط العائد لكل حلقة، تحقّق من الإجراءات والحلقات التي دخلت في الحساب. قد يحتسب نظام جمع البيانات إعادة الضبط على أنها انتقال، أو يسجّل الملاحظة الأولى للحلقة التالية عند آخر انتقال للحلقة السابقة، أو يغفل حلقة توقفت عند الحد الزمني. توضّح ثلاثة اختبارات قصيرة باستخدام Gymnasium 1.2.1 ما ينبغي التحقّق منه.
احسب الإجراءات المنفّذة وتحقّق من الملاحظة النهائية. في اختبار متّجهي متزامن ببيئتين وخمسة استدعاءات لـ step()، أعاد وضعا إعادة الضبط 10 نتائج لخانات البيئتين. في وضع NextStep، جاءت نتيجتان من إعادة الضبط ونُفّذت ثمانية إجراءات. في وضع SameStep، نُفّذت الإجراءات الـ 10 كلها. احتوت ثلاث نتائج على ملاحظة إعادة الضبط حيث كان الانتقال يحتاج إلى الملاحظة النهائية. اقرأ infos["final_obs"] باستخدام القناع _final_obs في هذه الخانات. طابق الإجراءات المنفّذة والنتائج الناتجة من إعادة الضبط فقط لكل خانة. راجع الملاحظة التالية المخزّنة في الانتقالات التي تنهي الحلقات. تنفيذ البيئات المتّجهية في Gymnasium 1.2.1
احتفظ بعلامتَي انتهاء الحلقة. في اختبار ببيئة واحدة، انتهت حلقتان من ثلاث في الأصل مع truncated=True. وكانت لإحداهما أيضًا علامة terminated=True. بعد التحويل إلى واجهة done القديمة ثم العودة، ظلّت truncated=True للحلقة التي توقفت بسبب الحد وحده. احفظ كل علامة قبل التحويل وتحقّق من بقائهما بعد التصدير والاستيراد، بما في ذلك حين تكونان صحيحتين معًا. تنفيذ التوافق في Gymnasium 1.2.1
طابق الحلقات المسجّلة مع نتائج الخطوات من الطبقة الخارجية. في اختبار آخر ببيئة واحدة، أعاد الترتيبان للطبقات المغلّفة الملاحظات والمكافآت وعلامات الانتهاء نفسها. بلغ عائدا الحلقتين 1 و2. مع وضع RecordEpisodeStatistics خارج TimeLimit، ظهرت الحلقتان في الإحصاءات وكان المتوسط المسجّل 1.5. وعندما كانت طبقة الإحصاءات في الداخل، لم تظهر إلا الحلقة التي انتهت طبيعيًا، وكان المتوسط المسجّل 1.0. عيّن الحد الزمني الخارجي علامة الإيقاف بعد أن عالجت طبقة الإحصاءات الداخلية الخطوة. طابق الملخّصات مع معرّفات الحلقات وعلامات الانتهاء في السجل الخارجي، ثم أعد حساب المتوسط من عوائد الحلقات التي يشملها مقياسك. تنفيذ الطبقات المغلّفة في Gymnasium 1.2.1
في كل مقارنة، احفظ إصدار المكتبة وترتيب الطبقات المغلّفة ووضع إعادة الضبط عند انطباقه وعدد الحلقات في المتوسط. قبل استخدام النتيجة الإجمالية، راجع الأعداد وعائد كل حلقة في سجل قصير يشمل نهاية طبيعية وإيقافًا إجباريًا.