Исследования
Как проверить журналы эпизодов обучения с подкреплением перед сравнением возвратов
Перед сравнением среднего возврата за эпизод выясните, какие действия и эпизоды вошли в расчёт. Сборщик данных может засчитать сброс как переход, записать первое наблюдение нового эпизода в последний переход предыдущего или пропустить эпизод, остановленный по времени. Три коротких теста в Gymnasium 1.2.1 показывают, что проверить.
Посчитайте выполненные действия и проверьте последнее наблюдение. В синхронном векторном тесте с двумя средами и пятью вызовами step() оба режима сброса вернули 10 результатов по позициям сред. В режиме NextStep два результата были получены при сбросе, а восемь действий были выполнены. В режиме SameStep выполнены все 10 действий. В трёх результатах пришло наблюдение после сброса там, где переходу требовалось последнее наблюдение эпизода. Для этих позиций прочитайте infos["final_obs"] с маской _final_obs. Сверьте выполненные действия и результаты только от сброса для каждой позиции. Проверьте, какое следующее наблюдение сохранено для переходов, завершающих эпизод. Реализация векторных сред в Gymnasium 1.2.1
Сохраните оба признака окончания. В тесте с одной средой два эпизода из трёх изначально завершились с truncated=True. В одном из этих двух также было terminated=True. После преобразования в старый API done и обратно truncated=True сохранилось только у эпизода, остановленного исключительно по лимиту. Сохраните оба признака до преобразования и проверьте, что они остаются после экспорта и импорта, в том числе когда оба одновременно истинны. Реализация совместимости в Gymnasium 1.2.1
Сверьте записанные эпизоды с результатами шагов во внешнем слое. В другом тесте с одной средой оба порядка обёрток дали одинаковые наблюдения, награды и признаки окончания. Возвраты двух эпизодов составили 1 и 2. При размещении RecordEpisodeStatistics снаружи TimeLimit оба эпизода попали в статистику, а записанное среднее составило 1.5. При размещении статистики внутри был учтён только естественно завершившийся эпизод, и среднее составило 1.0. Внешнее ограничение времени установило признак остановки после обработки шага внутренней обёрткой статистики. Сверьте сводки с идентификаторами эпизодов и признаками окончания во внешнем журнале. Затем пересчитайте среднее по возвратам эпизодов, которые входят в показатель. Реализация обёрток в Gymnasium 1.2.1
Для каждого сравнения сохраните версию библиотеки, порядок обёрток, режим сброса при необходимости и число эпизодов в среднем. Перед использованием сводного значения проверьте число эпизодов и их возвраты по короткому журналу с естественным завершением и принудительной остановкой.