Nghiên cứu
Cách kiểm tra nhật ký các tập học tăng cường trước khi so sánh tổng phần thưởng
Trước khi so sánh tổng phần thưởng trung bình mỗi tập, hãy kiểm tra những hành động và tập được đưa vào phép tính. Bộ thu thập dữ liệu có thể tính lần đặt lại là một bước chuyển, lưu quan sát đầu của tập sau vào bước chuyển cuối của tập trước hoặc bỏ sót tập dừng vì hết thời gian. Ba phép thử ngắn với Gymnasium 1.2.1 cho thấy cần kiểm tra gì.
Đếm hành động đã thực hiện và kiểm tra quan sát cuối. Trong thử nghiệm véc-tơ đồng bộ với hai môi trường và năm lệnh gọi step(), cả hai chế độ đặt lại đều trả về 10 kết quả cho các vị trí môi trường. Với NextStep, hai kết quả đến từ lần đặt lại và tám hành động được thực hiện. Với SameStep, cả 10 hành động đều được thực hiện. Ba kết quả chứa quan sát sau khi đặt lại ở những bước chuyển cần quan sát cuối. Ở các vị trí đó, đọc infos["final_obs"] bằng mặt nạ _final_obs. Đối chiếu hành động đã thực hiện và kết quả chỉ đến từ việc đặt lại ở mỗi vị trí. Kiểm tra quan sát tiếp theo được lưu ở các bước chuyển kết thúc tập. Triển khai môi trường véc-tơ trong Gymnasium 1.2.1
Giữ cả hai cờ kết thúc. Trong thử nghiệm với một môi trường, ban đầu hai trong ba tập kết thúc với truncated=True. Một trong hai tập cũng có terminated=True. Sau khi chuyển sang API done cũ rồi chuyển lại, chỉ tập dừng do giới hạn mới còn truncated=True. Lưu từng cờ trước khi chuyển đổi. Kiểm tra xem cả hai cờ có còn sau khi xuất và nhập không, kể cả khi cả hai cùng đúng. Triển khai tương thích trong Gymnasium 1.2.1
Đối chiếu các tập đã ghi với kết quả từng bước ở lớp ngoài cùng. Trong một thử nghiệm khác với một môi trường, cả hai thứ tự lớp bọc đều cho ra cùng quan sát, phần thưởng và cờ kết thúc. Hai tập có tổng phần thưởng là 1 và 2. Khi đặt RecordEpisodeStatistics bên ngoài TimeLimit, cả hai tập đều có trong thống kê và mức trung bình ghi được là 1.5. Khi lớp thống kê ở bên trong, chỉ tập kết thúc tự nhiên được ghi và mức trung bình là 1.0. Lớp giới hạn thời gian ở ngoài đặt cờ dừng sau khi lớp thống kê bên trong đã xử lý bước đó. Đối chiếu các bản tóm tắt với ID tập và cờ kết thúc trong nhật ký lớp ngoài, rồi tính lại trung bình từ tổng phần thưởng của các tập được chỉ số tính đến. Triển khai lớp bọc trong Gymnasium 1.2.1
Với mỗi lần so sánh, hãy lưu phiên bản thư viện, thứ tự lớp bọc, chế độ đặt lại nếu có và số tập dùng để tính trung bình. Trước khi dùng kết quả tổng hợp, kiểm tra số tập và tổng phần thưởng từng tập trên một nhật ký ngắn có cả kết thúc tự nhiên và dừng bắt buộc.