מחקר
איך לשחזר ולהשוות ציוני chrF לכל הקורפוס
כדי לשחזר ציון chrF לכל הקורפוס, שמרו את שם המדד, הגרסה שלו, ההגדרות והקלט המדויק. שמרו את קובץ התחזיות ואת רשימת קובצי הייחוס לפי סדרם, כולל ערכי הבדיקה שלהם. שמרו מזהי מקטעים קבועים או תיעוד אחר שמראה איזה מקטע בכל קובץ ייחוס מתאים לכל תחזית.
הדוגמאות משתמשות בטקסטים בדויים, בשני מקטעים ובהגדרות ברירת המחדל של chrF2 ב-SacreBLEU 2.6.0.
השתמשו בסדר מההערכה המקורית
SacreBLEU בוחר ייחוס לכל תחזית בנפרד. הוא משתמש בספירות מהייחוס שנותן את הציון הגבוה ביותר למשפט. במקרה של שוויון מדויק הוא בוחר בייחוס הראשון. בחישוב chrF2 לכל הקורפוס, מחברים את הספירות שנבחרו לרצפי תווים באורך נתון לפני חישוב הציון.
בדוגמה הראשונה שני הייחוסים מקבלים 6.25 עבור התחזית הראשונה של A. ספירות רצפי התווים שלהם שונות. החלפת סדר הקבצים מורידה את הציון של A לכל הקורפוס מ-79.03 ל-39.48. הציון של B נשאר 64.31, ולכן המנצח מתחלף. ה-API ושורת הפקודה נותנים אותה תוצאה. חתימת המדד זהה בכל ארבע הריצות. השתמשו בקבצים בסדר המקורי כדי לבדוק את הערך שדווח.
השוו את שתי המערכות בכל סדר סביר
אם הסדר המקורי אינו ודאי, רשמו אילו סדרים באים בחשבון וחשבו את ציוני שתי המערכות בכל אחד מהם. חשבו את ההפרש בכל ריצה לפני שתסכמו את טווח ההפרשים.
בדוגמה אחרת עם שלושה קובצי ייחוס, ציוני A נעים בין 22.67 ל-79.03 וציוני B בין 16.33 ל-43.33. הטווחים חופפים. עם זאת, בכל ששת הסדרים שבהם השתמשו שתי המערכות, A מוביל בפער של 6.33 עד 35.69 נקודות לפי הציונים לפני העיגול. אם הסדר קובע מי מנצח, ציינו זאת. אם המנצח נשאר זהה, ציינו אילו סדרים משותפים תומכים במסקנה. שחזרו את הסדר המקורי כדי לבדוק את הערך המקורי.
חשבו את הציונים מחדש כשהייחוסים משתנים
ייחוס חדש יכול להעלות את הציון של משפט ולהוריד את ה-chrF2 לכל הקורפוס. בדוגמה השלישית, הוספת קובץ ייחוס מעלה את ציון המשפט הראשון של A מ-6.25 ל-6.94. הציון של המשפט השני נשאר 100. ממוצע ציוני המשפטים של A עולה, והציון לכל הקורפוס יורד מ-79.03 ל-43.60. B נשאר ב-64.31. הייחוס שנוסף למקטע הראשון מקבל ציון גבוה יותר למשפט, ושני הסדרים נותנים אותה תוצאה לכל הקורפוס. הספירות שנבחרו משנות גם את מספר ההתאמות וגם את המכנים בחישוב לכל הקורפוס.
כשקובצי הייחוס משתנים, חשבו את ציוני שתי המערכות עם הקבצים המדויקים של כל גרסה לפי סדרם. שמרו את ארבע התוצאות יחד כדי שיהיה אפשר להשוות ישירות בין המערכות בכל גרסה ולראות את השפעת השינוי. ציינו אם התוצאה היא chrF2 לכל הקורפוס או ממוצע ציוני המשפטים.