דילוג לתוכן הראשי

תפריט

העריכו סוכן בינה מלאכותית לפי העבודה שהוא נדרש לבצע

שפת הדף: עברית

הביאו משימה מייצגת ואת התוצאה שהסוכן שלכם אמור להשיג. אפשר להגדיר היקף למבחן עם בדיקות מפורשות ודוח על הרצות שעברו, נכשלו ולא קיבלו ציון. תארו את הפרויקט שלכם ל-sapien1

הערכת סוכן בינה מלאכותית בודקת אם הוא מצליח להשלים משימה בעזרת המידע והכלים שיעמדו לרשותו ותחת המגבלות שיחולו עליו בפועל. הגדירו את התוצאה הצפויה, בדקו מה השתנה ובחנו את הצעדים שהובילו לתוצאה.

sapien1 מסייעת לצוותים להגדיר מערכי משימות, להעריך נתוני בדיקה ולפתח סביבות לבדיקת סוכנים. התחילו עם תהליך עבודה אחד ועם ההחלטה שההערכה צריכה לתמוך בה.

הפכו תהליך עבודה למשימה שאפשר לבדוק

משימה דורשת מצב התחלתי, בקשה ותנאי הצלחה שאפשר לבחון. ההודעה האחרונה של הסוכן היא חלק מהראיות. הקבצים שנוצרו, הרשומות או מצב הכלים יכולים גם הם להראות אם העבודה הושלמה.

המדריך של Anthropic להערכת סוכנים מבחין בין המשימה, כל ניסיון, מנגנוני ההערכה, יומן הביצוע והתוצאה בסביבה. ההבחנות עוזרות להבין אם הכשל נבע מהסוכן, מהבדיקה או מהסביבה.

למשל, נניח שסוכן תמיכה מתבקש לשנות כתובת למשלוח. הבדיקה יכולה להעמיד לרשותו את רשומת ההזמנה, את בקשת הלקוח ואת המדיניות החלה. הבדיקות צריכות לשקף את המשימה בפועל:

חלק במשימהבדיקה לדוגמה
זיהוי ההזמנההסוכן בוחר את ההזמנה המצוינת בבקשה
החלת המדיניותההחלטה תואמת לכללים שניתנו ולמצב ההזמנה
ביצוע השינויכאשר השינוי מותר, הכתובת המבוקשת מופיעה ברשומת ההזמנה. אחרת, הכתובת נשארת ללא שינוי.
שמירה על יתר הפרטיםהפריטים, הכמויות והרשומות שאינן קשורות נותרים ללא שינוי
הסבר התוצאההתשובה מתארת במדויק את הפעולה שבוצעה או את המידע שעדיין דרוש

זהו מפרט משימה להמחשה. המדיניות ותהליך העבודה שלכם קובעים אילו בדיקות מתאימות.

בדקו את ההרשאה ואת המצב לאחר הפעולה

נניח שמשתמש מרשה לסוכן לשנות את הכתובת של הזמנה A מ־1 Example Lane ל־2 Example Lane. הכתובת ההתחלתית של הזמנה B היא 3 Example Lane, והבקשה אינה חלה על הזמנה זו. יומן הביצוע הבדיוני שהוכן מראש מדגים מה עשויה לתעד בדיקת הרשאות מדומה:

בקשת הסוכן לכליהחלטת הרשאההתוצאה שתועדה
הזמנה A: שינוי הכתובת ל־2 Example Laneאושרהשינוי בוצע
הזמנה B: שינוי הכתובת ל־4 Example Laneנדחההשינוי נחסם

היומן מתעד גם את הבקשה שאושרה וגם את הבקשה שמעבר להיקף ההרשאה. בדוגמה זו, בדיקת המצב מראה שהכתובת של הזמנה A היא 2 Example Lane והכתובת של הזמנה B נשארה 3 Example Lane. דחיית בקשה וביצוע שינוי הם תוצאות שונות. שמרו את החלטת ההרשאה ואת המצב הסופי לצד תשובת הסוכן.

המדריך של Anthropic להערכת סוכנים מבחין בין יומן הביצוע של ניסיון לבין המצב שנוצר בעקבותיו. הנחיות AWS להרשאות לכלים דנות בבדיקת בקשות של סוכן לכלים ובסקירת החלטות לאשר או לדחות אותן. היומן הבדיוני מדגים בדיקה אחת ואינו מוכיח שמערכת בטוחה.

בנו בדיקה מתוך מקרה שכבר טופל

נניח שיומן בדיוני אחר של שירות הלקוחות מתעד את הרצף הבא. בשעה 10:00, הבעלים המאומת של הזמנה A מבקש לשנות את כתובת ההזמנה מ־1 Example Lane ל־2 Example Lane. ההזמנה עדיין בהכנה למשלוח. המדיניות התקפה קובעת שיש לבצע שינוי כתובת שביקש בעלים מאומת לפני שההזמנה נשלחת. בשעה 10:05, הערת תמיכה מתעדת שהכתובת שונתה.

כדי לבדוק את ההחלטה בשעה 10:00, תנו לסוכן את הבקשה, את מצב ההזמנה המקורי ואת המדיניות שחלה באותה שעה. הפעילו את כלי הבדיקה מהמצב הזה. השאירו את ההזמנה בהכנה בזמן שהסוכן פועל. העמידו את ההערה מ־10:05 לרשות מי שבודק את התוצאה והוציאו אותה מההנחיה הראשונית לסוכן ומכל רשומה שכליו יכולים לקרוא במהלך הבדיקה. אחרת הסוכן עלול לראות את התוצאה לפני שיתבקש לפעול.

המדיניות שהייתה תקפה בשעה 10:00 מגדירה לבודק את התוצאה הצפויה. בסיום, כתובתה של הזמנה A היא 2 Example Lane. דרשו שגם הרשומות שאינן קשורות למשימה יישארו ללא שינוי. ההערה מ־10:05 מתעדת את התוצאה בפועל. היעזרו במדיניות כדי לקבוע אם הפעולה הייתה נכונה. אם אי אפשר לקבוע מה הייתה המדיניות החלה או מה היה המצב לפני הפעולה, העבירו את המקרה לבדיקה נפרדת. לפני שימוש ברשומות אמיתיות, ודאו שיש לכם הרשאה לכך וטפלו בשדות רגישים בהתאם.

מדריך מערכי הנתונים של Inspect מבדיל בין הקלט שנמסר למודל לבין יעד ייחוס שאפשר להשתמש בו להערכה. הוא מסביר גם שאפשר להעתיק קבצים לדוגמה לסביבת בדיקה מבודדת. חפשו בהנחיות, בחומר שאוחזר, בתשובות הכלים ובקובצי הסביבה המבודדת מידע שמיועד לבודק בלבד. בצעו את הבדיקות גם אם יש במערך הנתונים יעד נפרד להערכה.

בחרו ראיות שמתאימות להחלטה

השתמשו בבדיקות ישירות כשהתוצאה ניתנת לצפייה, למשל שדה שהשתנה, חישוב, קובץ שנוצר או בדיקה שעברה. השתמשו בקריטריונים כתובים כשנדרש שיקול דעת אנושי, למשל כדי לקבוע אם הסבר ברור או אם תשובה מחקרית מבססת את מסקנתה.

מעריך אוטומטי יכול לעזור לבדוק פלטים רבים. השוו את החלטותיו לבדיקה אנושית בדוגמאות מייצגות לפני שתסתמכו על הציונים שלו. תעדו מחלוקות כדי שאפשר יהיה לשפר את הקריטריונים או את המעריך.

בדיקה אם המודל משתמש בקטע

תעדו את קלט המשימה, הכלים, הגדרות הסוכן והתוצאות. חזרו על ניסיונות כשהשונות בין הרצות משנה להחלטה. בחנו הרצות שנכשלו והרצות שהצליחו באופן מפתיע. ציון גבוה עשוי לשקף ביצועים טובים או להסתיר בדיקה חלשה. המדריך של Anthropic דן בשיקולים לבחירת מנגנוני הערכה ולתכנון ניסיונות.

בדקו את מזהי המקרים לפני חישוב הציון

כשאתם בונים מקרה מרשומות עבר, שמרו את המזהה שלו בתוצאה הצפויה ובתוצאת הבדיקה. לפני שתעריכו תוצאה אחת לכל מקרה, השוו את שני הקבצים לרשימת המזהים הצפויים. כל מזהה צפוי צריך להופיע פעם אחת בכל קובץ. פתרו בעיות של מזהים חסרים, כפולים או בלתי צפויים. בהרצות חוזרות תעדו גם מזהה לכל ניסיון.

נניח שאתם מצפים למקרים A ו־B. שני הקבצים כוללים את A ושורה ללא מזהה. התוצאה הצפויה ותוצאת הבדיקה של A אינן תואמות. לשתי השורות ללא מזהה יש אותה תווית. חיבור טבלאות ב־pandas יכול להתאים את המפתחות החסרים גם אם בדיקת ההתאמה של אחד לאחד עוברת. ספירת השורות המחוברות נותנת התאמה אחת מתוך שני זוגות. רק A מתאים למזהה צפוי. בקבוצת המקרים המזוהים יש אפס התאמות במקרה אחד, וכיסוי של מקרה אחד מתוך שניים צפויים. בלי המזהים אי אפשר לדעת אם אחת השורות שייכת ל־B, ולכן אי אפשר לקבוע את הציון לשני המקרים הצפויים יחד. אם בחרתם להעריך קבוצה חלקית, דווחו על הכיסוי לצד הציון.

השוואת ציונים במבחנים השוואתיים

פרשו ניסיונות חוזרים בהתאם להחלטה

נניח שצוות בודק שתי משימות שלוש פעמים כל אחת ומשחזר את המצב ההתחלתי של המשימה לפני כל ניסיון. הבדיקות מחזירות את התוצאות הבדיוניות הבאות:

משימהניסיון ראשוןניסיון שניניסיון שלישי
Aעברנכשלעבר
Bעברעברנכשל

ארבעה מששת הניסיונות עברו. שתי המשימות עברו לפחות פעם אחת, אבל אף אחת לא עברה בכל שלושת הניסיונות. הסיכומים עונים על שאלות שונות. תוצאה נכונה מדי פעם עשויה להועיל אם המערכת מסוגלת לבדוק באופן אמין כמה פלטים אפשריים ולבחור ביניהם. הצלחה חוזרת חשובה כאשר כל ניסיון צריך לעבוד בפני עצמו. ניסיון מוצלח אחד אינו הופך את האחרים לבטוחים או נכונים.

נניח כעת שניסיון שביעי נעצר לפני שאפשר היה להעריך אותו בגלל תקלה חיצונית מאומתת בסביבת הבדיקה המבודדת. ארבעה מתוך ששת הניסיונות שהוערכו עברו. בסך הכול התקבלו ארבע הצלחות מאומתות מתוך שבעה ניסיונות. הניסיון שלא הוערך אינו הצלחה מאומתת ואינו כשל מאומת של הסוכן. היחס הראשון מסכם את הניסיונות שהוערכו. השני מראה כמה הצלחות אומתו מתוך כל הניסיונות. משקל שונה למשימות או הגדרות מדד שונות יכולים לשנות את התוצאה המדווחת.

המספרים מתארים רק את הבדיקות הבדיוניות לעיל ואינם קובעים שיעור הצלחה בסביבת ייצור. תעדו את מספר המשימות, מספר הניסיונות לכל משימה, הבדיקות שנעשו וניסיונות שנפסלו עקב תקלות תשתית, כמו תקלה בסביבה המבודדת. דווחו על ניסיונות שנפסלו בנפרד מכשלי סוכן וציינו אילו ניסיונות נכללים בכל סיכום. חזרה על משימה אחת עוזרת לחשוף את השונות באותה משימה. בדקו גם מגוון רחב יותר של מצבים. המדריך של Anthropic להערכת סוכנים מסביר כיצד מדדים של הצלחה לפחות פעם אחת ושל הצלחה עקבית משרתים החלטות שונות.

כיסוי המשימות יכול להשתנות עוד לפני חישוב הציונים. בניתוח שלנו לכיסוי תוצרי הייחוס ב־GDPval, 185 מתוך 220 שורות המשימות הציבוריות מציינות נתיב אחד לפחות לתוצר שהכין מומחה. התפלגות הענפים בשורות האלה שונה מהתפלגותם בטבלה המלאה. עצם רישומו של נתיב אינו מוכיח שאפשר לגשת לקובץ או להציג אותו.

השתמשו בסביבת בדיקה כשהפעולות משנות מצב

אם הסוכן עורך רשומות, מפעיל תוכנה או עובד עם כמה כלים, הוא צריך מקום לבצע בו את הפעולות. סביבת בדיקה שאפשר לשחזר מאפשרת להחזיר את המצב ההתחלתי ולבחון את התוצאה לאחר הרצה.

OpenEnv היא מסגרת פתוחה לסביבות מבודדות לסוכנים. בחרו מסגרת אחרי שתגדירו את המשימה, את המידע שנגיש לסוכן, את הפעולות שביכולתו לבצע ואת הדרך לבדוק הצלחה.

כדי לראות כיצד משאבים מוצהרים עשויים להשתנות בין משימות, עיינו בהגדרות המשאבים של 66 משימות Terminal-Bench.

מסמך דרישות קצר להערכה הראשונה

תארו את תהליך העבודה, משימה מייצגת ואיך נראית תוצאה מוצלחת. הוסיפו את הכלים של הסוכן, את המידע שהוא מקבל ואת הכשלים שישפיעו על החלטת השחרור. אם כבר יש לכם דוגמאות, תארו את מקורן ומה הן מכסות.

בפרויקט בהיקף מוגדר אפשר לקבוע אחר כך את מערך המשימות, דרישות הסביבה, שיטת ההערכה ואופן סקירת התוצאות. אם הדוגמאות עצמן חסרות, התחילו באיתור ואיסוף נתונים.

כתבו לנו על הערכת סוכנים