# איך לבדוק יומני פרקים בלמידת חיזוק לפני השוואת תשואות

לפני שמשווים תשואה ממוצעת לפרק, בדקו אילו פעולות ופרקים נכללו בחישוב. מערכת האיסוף יכולה לספור איפוס כמעבר, לשמור את התצפית הראשונה של הפרק הבא במעבר האחרון של הקודם, או להחמיץ פרק שהסתיים במגבלת הזמן. שלוש בדיקות קצרות עם Gymnasium 1.2.1 מראות מה כדאי לבדוק.

**ספרו את הפעולות שבוצעו ובדקו את התצפית הסופית.** בבדיקה וקטורית מסונכרנת עם שתי סביבות וחמש קריאות ל-`step()`, שני מצבי האיפוס החזירו 10 תוצאות מעמדות הסביבה. במצב `NextStep`, שתי תוצאות הגיעו מאיפוסים ובוצעו שמונה פעולות. במצב `SameStep`, בוצעו כל 10 הפעולות. בשלוש תוצאות הופיעה התצפית שאחרי האיפוס במקום שבו המעבר דרש את התצפית הסופית. בעמדות האלה קראו את `infos["final_obs"]` באמצעות המסכה `_final_obs`. בדקו בכל עמדה את הפעולות שבוצעו ואת התוצאות שהגיעו מאיפוס בלבד. בדקו את התצפית הבאה שנשמרה במעברים שסוגרים פרק. [מימוש סביבות וקטוריות ב-Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**פעולות שבוצעו**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**שמרו את שני דגלי הסיום.** בבדיקה עם סביבה אחת, שניים מתוך שלושה פרקים הסתיימו במקור עם `truncated=True`. לאחד מהם היה גם `terminated=True`. לאחר המרה לממשק `done` הישן ובחזרה, רק לפרק שנקטע בגלל המגבלה בלבד נשאר `truncated=True`. שמרו את שני הדגלים לפני ההמרה ובדקו שהם נשמרים בייצוא ובייבוא גם כששניהם אמת באותו זמן. [מימוש התאימות ב-Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**התאימו בין הפרקים שתועדו לתוצאות הצעדים בשכבה החיצונית.** בבדיקה נוספת עם סביבה אחת, שני סדרי העטיפה החזירו את אותן תצפיות, תגמולים ודגלי סיום. התשואות של שני הפרקים היו 1 ו-2. כאשר `RecordEpisodeStatistics` עטף את `TimeLimit` מבחוץ, שני הפרקים נכללו בסטטיסטיקה והממוצע שנרשם היה 1.5. כשהשכבה הסטטיסטית הייתה בפנים, נכלל רק הפרק שהסתיים באופן טבעי והממוצע שנרשם היה 1.0. מגבלת הזמן החיצונית קבעה את דגל הקטיעה אחרי ששכבת הסטטיסטיקה הפנימית עיבדה את הצעד. התאימו את הסיכומים למזהי הפרקים ולדגלי הסיום ביומן החיצוני. אחר כך חשבו מחדש את הממוצע לפי התשואות של הפרקים שנכללים במדד. [מימוש שכבות העטיפה ב-Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

בכל השוואה שמרו את גרסת הספרייה, את סדר שכבות העטיפה, את מצב האיפוס אם הוא רלוונטי ואת מספר הפרקים בממוצע. לפני שמשתמשים בתוצאה הכוללת, בדקו את הספירות ואת התשואה מכל פרק ביומן קצר עם סיום טבעי וקטיעה כפויה.

[הורדת הסקריפטים והיומנים השמורים (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
