# 리턴을 비교하기 전에 강화 학습 에피소드 로그를 확인하는 방법

평균 에피소드 리턴을 비교하기 전에 어떤 행동과 에피소드가 계산에 포함됐는지 확인하세요. 데이터 수집기가 초기화를 전이로 세거나, 다음 에피소드의 첫 관측값을 이전 에피소드의 마지막 전이에 저장하거나, 시간 제한으로 끝난 에피소드를 빠뜨릴 수 있습니다. Gymnasium 1.2.1을 사용한 세 가지 짧은 테스트에서 확인할 항목을 살펴봅니다.

**실제로 적용한 행동 수를 세고 마지막 관측값을 확인하세요.** 두 환경에서 `step()`을 다섯 번 호출한 동기식 벡터 테스트에서 두 초기화 모드는 환경 슬롯 결과를 모두 10개 반환했습니다. `NextStep`에서는 결과 두 개가 초기화에서 나왔고 행동 여덟 개가 적용됐습니다. `SameStep`에서는 행동 10개가 모두 적용됐습니다. 결과 세 개에서는 전이에 마지막 관측값이 필요했는데 초기화 직후의 관측값이 반환됐습니다. 해당 슬롯에서는 `infos["final_obs"]`를 `_final_obs` 마스크로 읽으세요. 슬롯마다 적용된 행동과 초기화만 한 결과를 대조하고, 에피소드가 끝나는 전이에 저장된 다음 관측값을 확인하세요. [Gymnasium 1.2.1 벡터 환경 구현](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**실행한 행동 수**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**종료 플래그를 둘 다 보존하세요.** 단일 환경 테스트에서 세 에피소드 중 두 개가 원래 `truncated=True`로 끝났습니다. 그중 하나에는 `terminated=True`도 설정돼 있었습니다. 이전 `done` API로 변환한 뒤 되돌리면 제한 때문에 중단된 에피소드에만 `truncated=True`가 남았습니다. 변환하기 전에 두 플래그를 각각 저장하세요. 둘 다 동시에 참인 경우를 포함해 내보내고 다시 가져온 후 두 플래그가 유지되는지 확인하세요. [Gymnasium 1.2.1 호환성 구현](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**기록된 에피소드를 가장 바깥쪽 단계 결과와 대조하세요.** 또 다른 단일 환경 테스트에서 래퍼 순서를 바꿔도 관측값, 보상, 종료 플래그는 같았습니다. 두 에피소드의 리턴은 1과 2였습니다. `RecordEpisodeStatistics`를 `TimeLimit` 바깥에 두면 두 에피소드가 모두 통계에 들어갔고 기록된 평균은 1.5였습니다. 통계 래퍼가 안쪽에 있으면 자연스럽게 종료된 에피소드만 기록됐고 평균은 1.0이었습니다. 안쪽 통계 래퍼가 단계를 처리한 뒤 바깥쪽 시간 제한이 중단 플래그를 설정했습니다. 통계 요약을 바깥쪽 로그의 에피소드 ID와 종료 플래그에 맞춰 확인하세요. 그런 다음 지표에 포함할 에피소드의 리턴으로 평균을 다시 계산하세요. [Gymnasium 1.2.1 래퍼 구현](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

비교할 때마다 라이브러리 버전, 래퍼 순서, 해당하는 경우 초기화 모드, 평균에 사용한 에피소드 수를 저장하세요. 집계 결과를 쓰기 전에 자연 종료와 강제 중단이 포함된 짧은 로그로 건수와 에피소드별 리턴을 확인하세요.

[스크립트와 저장된 로그 다운로드(ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
