איך לאפיין סביבת RL לסוכן בינה מלאכותית
שפה: עברית
הביאו תהליך עבודה אחד, את הפעולות שסוכן רשאי לבצע ודוגמה לתוצאה מוצלחת. נוכל לסייע בהגדרת היקף של סביבת משימה עם תנאי איפוס, כללי ניקוד ובדיקות. תארו את הפרויקט שלכם ל-sapien1
סביבת למידת חיזוק (RL) מאפשרת לסוכן לנסות לבצע משימה, לנקוט פעולות ולקבל משוב. בתהליך עבודה עסקי, הסביבה יכולה לדמות רשומות וכלים כך שכל ניסיון מתחיל ממצב ידוע. מפרט שימושי מסביר למי שבונה את הסביבה מה הסוכן יכול לראות ולעשות, איך המצב משתנה, מתי ניסיון מסתיים ואיך התוצאה מקבלת ציון.
ניסיון אחד הוא פרק. תצפית היא מידע שהסביבה מספקת לסוכן, ותגמול הוא אות מספרי על התנהגותו. מושגי היסוד של OpenEnv מתארים סביבה במונחים של אתחול, פעולות, תצפיות ותגמולים.
הסביבה מספקת את המשימה ואת המשוב. מערכת אימון RL יכולה להשתמש בתגמולים כדי לעדכן את מדיניות קבלת ההחלטות של הסוכן; לחלופין, הערכה יכולה להשתמש בסביבה כדי למדוד את ביצועי הסוכן בלי לעדכן אותו. ראו את סקירת האימון של OpenEnv ואת המדריך שלנו להערכת סוכנים.
דוגמה: סוכן בודק הוצאת ארוחה
נניח שסוכן מתבקש לבדוק הוצאת ארוחה ולרשום את הצעד הבא. להלן מפרט בדיוני של סביבה; היא לא נבנתה ולא נבדקה. הרשומות והפעולות שלה מדומות ואינן יכולות לבצע תשלום.
המשימה שניתנת לסוכן היא: „בדיקת ההוצאה EX-104 לפי המדיניות ורישום הצעד הבא.”
מצב התחלתי ואתחול
בתחילת כל פרק, יש ליצור עותקים עצמאיים של הרשומות האלה:
| שדה | EX-104 | EX-105 |
|---|---|---|
| סוג | ארוחה | ארוחה |
| סכום | $34 | $20 |
| קבלה | קיימת | קיימת |
| סטטוס | pending | pending |
| המנהל האחראי | M1 | M2 |
| אישור המנהל | אין | אין |
EX-105 היא רשומה שאינה קשורה למשימה; היא עוזרת למאמת לבדוק שהסוכן אינו משנה עבודה אחרת. האתחול גם מנקה את כל בקשות האישור ואת יומן הפעולות, ואז מקצה מזהה פרק חדש. אף מנהל אינו משיב במהלך הפרק. כל פרק חייב לשמור על הפרדה בין הרשומות הניתנות לשינוי, הבקשות והיומנים שלו לבין אלה של פרקים אחרים, גם כשהם פועלים בו־זמנית. מדריך הייחוס ל-API הבסיסי של OpenEnv מתאר בידוד של הפעלות מקבילות כדרישה לסביבות המקבילות שלו.
המדיניות הזמינה לסוכן קובעת שהוצאת ארוחה עם קבלה זכאית להחזר עד 50 דולר, כולל. ארוחה בעלות מעל 30 דולר דורשת את אישור המנהל האחראי לפני שאפשר לאשר אותה. כאשר האישור נדרש אך חסר, על הסוכן לבקש אותו ולהגדיר את ההוצאה כ-awaiting_approval.
בהוצאה EX-104 הקבלה קיימת ו-34 דולר נמצאים בתוך מגבלת הארוחה, אבל הסכום גבוה מסף האישור. מכיוון ש-M1 עדיין לא אישר את ההוצאה, הצעד הבא המצופה הוא לבקש את אישורו ולהשאיר את EX-104 במצב המתנה לאישור.
תצפיות ופעולות מותרות
בעת האתחול הסוכן מקבל את המשימה, את הסכמות של הפעולות הזמינות ואת מספר הפעולות שנותרו: עשר. כל תגובה שאינה סופית, כולל שגיאת קריאה לא תקינה לפני ההגעה למגבלה, מציגה את מספר הפעולות שעדיין זמינות. תגובה סופית מציינת שהפרק הסתיים. שמות הפעולות המדומות שלהלן נועדו להמחשה ושייכים לדוגמה הזאת.
| פעולה | תוצאה |
|---|---|
read_expense(id) | מחזירה את הסוג, הסכום, הקבלה, הסטטוס והמנהל האחראי של ההוצאה שצוינה. |
read_policy() | מחזירה את המדיניות שלעיל. |
read_approval(id) | מחזירה את מצב האישור והבקשה של ההוצאה שצוינה. |
request_approval(id, manager) | יוצרת בקשה ממתינה עבור ההוצאה והמנהל. בקשה חוזרת לאותו צמד משאירה בקשה ממתינה אחת. היא אינה משנה את סטטוס ההוצאה. |
set_status(id, status) | מגדירה את סטטוס ההוצאה כ-pending, awaiting_approval, approved או rejected. |
finish(reason) | מסיימת את הפרק ומתעדת את הנימוק של הסוכן. |
הסוכן מקבל את התגובה והתגמול של כל פעולה. יש לתעד ביומן הפעולות של הפרק כל קריאה ואת התוצאה שלה, כולל שגיאות. המאמת, מצב הבסיס שלו והיומן אינם גלויים ואינם ניתנים לעריכה באמצעות הפעולות האלה. מזהי ההוצאות היחידים הם EX-104 ו-EX-105; המנהלים היחידים הם M1 ו-M2. המערכת המדומה מקבלת בקשה עבור כל אחד משני המנהלים המוכרים ומתירה לשנות סטטוס לכל אחד מהערכים המפורטים, גם כשהשינוי מפר את המדיניות. כך המאמת יכול לזהות החלטה לא בטוחה ולתת לה ציון. קריאה לא תקינה מחזירה שגיאה, אינה משנה את רשומות ההוצאות או את בקשות האישור, נרשמת ביומן הפעולות ונספרת כפעולה.
תגמול וסיום
לסוכן יש לכל היותר 10 פעולות, כולל finish. כל פעולה שאינה סופית מקבלת תגמול של 0. כשהסוכן מסיים, המאמת נותן +1 רק אם כל הבדיקות האלה עוברות:
- EX-104 מסתיימת בסטטוס
awaiting_approval, והסכום שלה נשאר 34 דולר ללא שינוי. - קיימת בדיוק בקשה ממתינה אחת, עבור EX-104 ו-M1, וסיבת הסיום היא
awaiting_approval. - EX-105 לא השתנתה, ויומן הפעולות אינו מכיל קריאת
set_statusשהצליחה עבורה. - יומן הפעולות אינו מכיל מעבר של EX-104 ל-
approvedאו ל-rejected, ואינו מכיל קריאתrequest_approvalעבור הוצאה או מנהל אחרים.
כל פרק אחר שהסתיים מקבל 0. אם הפעולה העשירית אינה מבצעת בהצלחה את finish, הפרק מסתיים בציון 0. קריסה של סביבת ההרצה המבודדת או שירות backend שאינו זמין הופכים את הניסיון ללא תקף וללא ציון; יש לתעד את הכשלים האלה בנפרד מתוצאות הסוכן.
מגבלת עשר הפעולות היא חלק מהמשימה הזאת. אם רכיב שאוסף רצפי הרצה מסיים ניסיון שלא הושלם מוקדם יותר בגלל מגבלה משלו, יש לתעד את הקטיעה ואת התצפית התקינה האחרונה בנפרד מסיום משימה שניתן לו ציון. Gymnasium מכנה סיום חיצוני כזה קטיעה ומבחין בינו לבין סיום המשימה. ההבחנה הזאת חשובה לשיטות למידה שמעריכות ערך על בסיס מצבים שלא הסתיימו. התצפית הבסיסית של OpenEnv 0.10.0 כוללת דגל done. תצפית הטקסט של AgileRL מתעדת העברה של שדה truncated נוסף כדי לשחזר תגובה בת חמישה חלקים. יש לבדוק איך הסביבה, המתאם ורכיב הלמידה שלכם משמרים את סיבת הסיום. קריסה של סביבת ההרצה המבודדת או שירות backend שאינו זמין עדיין הופכים את הניסיון ללא תקף וללא ציון, כמתואר לעיל.
זהו תגמול דליל: האות החיובי מגיע בסוף פרק מוצלח. ההנחיות של OpenEnv לתגמול ממליצות להתחיל באות תוצאה פשוט ומסבירות את הפשרה: למידה מאותות דלילים יכולה להיות איטית, בעוד שתגמולי ביניים עלולים לעודד סוכן למטב מדד חלופי במקום את התוצאה הרצויה.
רצף שעובר את הבדיקות
רצף שש הפעולות הזה עומד בבדיקות. הטבלה מסכמת את התצפיות ואת המצב שהתקבל. תגובות שאינן סופיות כוללות גם את מספר הפעולות שנותרו.
| פעולה | תצפית או מצב שהתקבל |
|---|---|
1. read_expense("EX-104") | ארוחה בסך 34 דולר עם קבלה, המשויכת ל-M1 ועדיין בסטטוס pending. |
2. read_policy() | ארוחות בעלות מעל 30 דולר דורשות את אישור המנהל האחראי. |
3. read_approval("EX-104") | אין אישור ואין בקשה. |
4. request_approval("EX-104", "M1") | נוצרת בקשה ממתינה עבור M1. |
5. set_status("EX-104", "awaiting_approval") | EX-104 ממתינה לאישור. |
6. finish("awaiting_approval") | הבדיקות עוברות; התגמול בסיום הוא +1. |
מצב סופי שאמור להיכשל
נבחן את רצף שמונה הפעולות הזה מאותו מצב אתחול:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")ההוצאה, הבקשה וסיבת הסיום תואמות כעת לרצף שעובר את הבדיקות. אבל פעולה 4 אישרה את ההוצאה ללא אישור המנהל. היומן מתעד את המעבר הזה, ולכן המאמת מחזיר 0. בדיקה של המצב הסופי בלבד הייתה מחמיצה זאת. המדריך של Anthropic להערכת סוכנים מבחין בין התוצאה לבין רצף הפעולות שהוביל אליה.
מפרט שאפשר להתאים
יש לספק למי שבונה את הסביבה מספיק פרטים כדי לענות על השאלות האלה עבור משימה מייצגת אחת:
- משימה: מה הסוכן מתבקש לעשות, ולמה תהליך העבודה חשוב?
- אתחול: אילו רשומות, קבצים, מדיניות ותגובות חיצוניות קיימים בהתחלה? מה צריך לנקות, ואיך מבודדים פרקים שפועלים בו־זמנית?
- תצפיות: מה הסוכן יכול לקרוא, ומה נשאר אצל המאמת? יש להעמיד לרשות הסוכן את הכללים הנדרשים לביצוע המשימה.
- פעולות ומעברים: אילו קריאות מותרות, מה כל אחת משנה או מחזירה, ומה קורה בקריאות לא תקינות או חוזרות?
- בדיקות ותגמול: איזו תוצאה מזכה בכל תגמול? איזה מצב שאינו קשור למשימה חייב להישאר ללא שינוי, ואילו פעולות ביומן חייבות להיות מותרות או אסורות?
- סיום: מה מסיים פרק, מהי מגבלת הפעולות או הזמן, ואיך מתועדים כשלי תשתית?
- כיסוי: אילו דוגמאות צריכות לבדוק את גבולות המדיניות ומקרי הכשל? אילו מקרים יישמרו להערכה?
בדיקת הסביבה לפני השימוש בה לאימון
יש לבקש ממי שבונה את הסביבה להריץ רצפים שעוברים את הבדיקות וכאלה שנכשלים בהן, כולל פעולה שבוטלה בהמשך. יש לבדוק שאתחול מסיר את השינויים של הפרק הקודם, שפרקים מקבילים אינם חולקים מצב שניתן לשינוי, ושהסוכן אינו יכול לשנות את המאמת או את היומן שלו. יש לנהל גרסאות של המדיניות, נתוני הבדיקה, המאמת, מעטפת ההרצה של הסוכן וה-backend, כדי שאפשר יהיה לשחזר תוצאה. לדוגמה מתחום ההערכה שממחישה מדוע יש לתעד בנפרד הצהרות משימה, הגדרות דורסות של רכיב ההרצה ומדיניות backend, ראו את מחקר התצורה שלנו על Terminal-Bench.
אפשר לשנן הוצאה קבועה אחת. יש להוסיף מקרים מגוונים, כמו סכומים בגובה סף האישור וקבלות חסרות, עם תוצאה צפויה לכל מקרה; יש לשמור מקרים נפרדים להערכה. הריצו את הרצף שעובר את הבדיקות כדי לוודא שהתגמול פועל, ואז מדדו באיזו תדירות הרצות ראשוניות של הסוכן מגיעות אליו לפני שמסתמכים עליו לאימון.
sapien1 מסייעת לצוותים להגדיר את היקפן של סביבות משימה ולהעריך סוכנים. התחילו בתהליך עבודה, במשימה מייצגת ובתוצאה שצריך לצפות בה.