דוגמאות לשחזור דירוג BM25

הדוגמאות משתמשות במסמכים ובשאילתות בדויים. הן מראות איך אותם מועמדים יכולים לקבל ציונים שונים כשהאוסף לחישוב משתנה, ואיך מועמד יכול לצאת מהרשימה כבר בסינון הראשוני. החישובים משתמשים בגרסה שנקבעה עבור הספרייה rank-bm25.

הורדת חמשת הסקריפטים והתוצאות שנשמרו (ZIP). קובץ README מסביר איך להתקין את הגרסאות שצוינו לחבילות Python ולהשוות את תוצאות הבדיקות.

איך השתנה האורך הממוצע של המסמכים?

גם הוספת מסמך שלא מכיל אף מילת חיפוש יכולה לשנות את האורך הממוצע שמשמש לחישוב הציונים. בדוגמה הזאת A מוביל כשהממוצע קטן מ-18 טוקנים, משתווה ל-B ב-18 ונופל אחריו מעל 18. בבדיקת הביקורת, כשההתאמה לפי אורך כבויה, B מוביל בכל המקרים.

אילו מסמכים שינו את המשקל של מילות החיפוש?

באוסף של תשעה מסמכים בדויים, A תואם ל-red והמועמד B תואם ל-blue. שתי עריכות במסמכים אחרים מגדילות את מספר המסמכים שבהם מופיע red משניים לארבעה. מספר המסמכים עם blue נשאר שלושה. תחילה A מוביל, אחרי העריכה הראשונה הוא משתווה ל-B ואחרי השנייה הוא בפיגור. המועמדים והאורך הממוצע של ארבעה טוקנים נשארים קבועים.

אילו מסמכים נכללו בחישוב של כל מקטע?

בדוגמה הזאת עם 18 מסמכים, שתי החלפות של מסמכים אחרים בין מקטעי האינדקס הופכות את הסדר של A ו-B כשכל מקטע משתמש בנתונים שלו לחישוב הציונים. חישוב אחד לכל האוסף, בלי שינוי במסמכים, נותן ל-B ציון גבוה יותר בכל חלוקה שנבדקה. ממשק החיפוש של Elasticsearch מתאר מאילו חלקים באינדקס אפשר לקחת את השכיחויות של מילות החיפוש. הציונים כאן חושבו בדוגמה ב-Python.

אילו מסמכים הגיעו לדירוג החוזר?

בדוגמה נפרדת עם 18 מסמכים, חישוב הציונים לכל המועמדים הכשירים נותן את הסדר B, C, A. הדירוג החוזר משתמש באותם ציונים שחושבו לפי האוסף כולו. הסינון הראשוני קובע אילו מועמדים יגיעו אליו.

הסינון הראשוני ותוצאות הדירוג החוזר
סינון ראשוניהסדר הסופי בחלוקה המקוריתהסדר הסופי אחרי שתי החלפות של מסמכי רקע
BM25 מקומי, מועמד אחד מכל מקטעC, AB, C
BM25 מקומי, עד שני מועמדים מכל מקטעB, C, AB, C, A
BM25 לפי כל האוסף, מועמד אחד מכל מקטעB, CB, C