# Как проверить журналы эпизодов обучения с подкреплением перед сравнением возвратов

Перед сравнением среднего возврата за эпизод выясните, какие действия и эпизоды вошли в расчёт. Сборщик данных может засчитать сброс как переход, записать первое наблюдение нового эпизода в последний переход предыдущего или пропустить эпизод, остановленный по времени. Три коротких теста в Gymnasium 1.2.1 показывают, что проверить.

**Посчитайте выполненные действия и проверьте последнее наблюдение.** В синхронном векторном тесте с двумя средами и пятью вызовами `step()` оба режима сброса вернули 10 результатов по позициям сред. В режиме `NextStep` два результата были получены при сбросе, а восемь действий были выполнены. В режиме `SameStep` выполнены все 10 действий. В трёх результатах пришло наблюдение после сброса там, где переходу требовалось последнее наблюдение эпизода. Для этих позиций прочитайте `infos["final_obs"]` с маской `_final_obs`. Сверьте выполненные действия и результаты только от сброса для каждой позиции. Проверьте, какое следующее наблюдение сохранено для переходов, завершающих эпизод. [Реализация векторных сред в Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Выполненные действия**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Сохраните оба признака окончания.** В тесте с одной средой два эпизода из трёх изначально завершились с `truncated=True`. В одном из этих двух также было `terminated=True`. После преобразования в старый API `done` и обратно `truncated=True` сохранилось только у эпизода, остановленного исключительно по лимиту. Сохраните оба признака до преобразования и проверьте, что они остаются после экспорта и импорта, в том числе когда оба одновременно истинны. [Реализация совместимости в Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Сверьте записанные эпизоды с результатами шагов во внешнем слое.** В другом тесте с одной средой оба порядка обёрток дали одинаковые наблюдения, награды и признаки окончания. Возвраты двух эпизодов составили 1 и 2. При размещении `RecordEpisodeStatistics` снаружи `TimeLimit` оба эпизода попали в статистику, а записанное среднее составило 1.5. При размещении статистики внутри был учтён только естественно завершившийся эпизод, и среднее составило 1.0. Внешнее ограничение времени установило признак остановки после обработки шага внутренней обёрткой статистики. Сверьте сводки с идентификаторами эпизодов и признаками окончания во внешнем журнале. Затем пересчитайте среднее по возвратам эпизодов, которые входят в показатель. [Реализация обёрток в Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Для каждого сравнения сохраните версию библиотеки, порядок обёрток, режим сброса при необходимости и число эпизодов в среднем. Перед использованием сводного значения проверьте число эпизодов и их возвраты по короткому журналу с естественным завершением и принудительной остановкой.

[Скачать скрипты и сохранённые журналы (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
