연구
리턴을 비교하기 전에 강화 학습 에피소드 로그를 확인하는 방법
평균 에피소드 리턴을 비교하기 전에 어떤 행동과 에피소드가 계산에 포함됐는지 확인하세요. 데이터 수집기가 초기화를 전이로 세거나, 다음 에피소드의 첫 관측값을 이전 에피소드의 마지막 전이에 저장하거나, 시간 제한으로 끝난 에피소드를 빠뜨릴 수 있습니다. Gymnasium 1.2.1을 사용한 세 가지 짧은 테스트에서 확인할 항목을 살펴봅니다.
실제로 적용한 행동 수를 세고 마지막 관측값을 확인하세요. 두 환경에서 step()을 다섯 번 호출한 동기식 벡터 테스트에서 두 초기화 모드는 환경 슬롯 결과를 모두 10개 반환했습니다. NextStep에서는 결과 두 개가 초기화에서 나왔고 행동 여덟 개가 적용됐습니다. SameStep에서는 행동 10개가 모두 적용됐습니다. 결과 세 개에서는 전이에 마지막 관측값이 필요했는데 초기화 직후의 관측값이 반환됐습니다. 해당 슬롯에서는 infos["final_obs"]를 _final_obs 마스크로 읽으세요. 슬롯마다 적용된 행동과 초기화만 한 결과를 대조하고, 에피소드가 끝나는 전이에 저장된 다음 관측값을 확인하세요. Gymnasium 1.2.1 벡터 환경 구현
종료 플래그를 둘 다 보존하세요. 단일 환경 테스트에서 세 에피소드 중 두 개가 원래 truncated=True로 끝났습니다. 그중 하나에는 terminated=True도 설정돼 있었습니다. 이전 done API로 변환한 뒤 되돌리면 제한 때문에 중단된 에피소드에만 truncated=True가 남았습니다. 변환하기 전에 두 플래그를 각각 저장하세요. 둘 다 동시에 참인 경우를 포함해 내보내고 다시 가져온 후 두 플래그가 유지되는지 확인하세요. Gymnasium 1.2.1 호환성 구현
기록된 에피소드를 가장 바깥쪽 단계 결과와 대조하세요. 또 다른 단일 환경 테스트에서 래퍼 순서를 바꿔도 관측값, 보상, 종료 플래그는 같았습니다. 두 에피소드의 리턴은 1과 2였습니다. RecordEpisodeStatistics를 TimeLimit 바깥에 두면 두 에피소드가 모두 통계에 들어갔고 기록된 평균은 1.5였습니다. 통계 래퍼가 안쪽에 있으면 자연스럽게 종료된 에피소드만 기록됐고 평균은 1.0이었습니다. 안쪽 통계 래퍼가 단계를 처리한 뒤 바깥쪽 시간 제한이 중단 플래그를 설정했습니다. 통계 요약을 바깥쪽 로그의 에피소드 ID와 종료 플래그에 맞춰 확인하세요. 그런 다음 지표에 포함할 에피소드의 리턴으로 평균을 다시 계산하세요. Gymnasium 1.2.1 래퍼 구현
비교할 때마다 라이브러리 버전, 래퍼 순서, 해당하는 경우 초기화 모드, 평균에 사용한 에피소드 수를 저장하세요. 집계 결과를 쓰기 전에 자연 종료와 강제 중단이 포함된 짧은 로그로 건수와 에피소드별 리턴을 확인하세요.