# איך לשחזר דירוג BM25 אחרי שינוי באינדקס

שמרו את המסמכים ששימשו לחישוב הנתונים של BM25, את מזהי המסמכים שיכלו להיכלל בחיפוש ואת המזהים שהועברו בין שלבי הדירוג. כך תוכלו לבדוק אם השתנו משקלי מילות החיפוש, הציונים במקטעי האינדקס או בחירת המועמדים. הדוגמאות משתמשות במסמכים בדויים שחולקו מראש לטוקנים ובספרייה `rank-bm25` בגרסה 0.2.2. [הקוד לחישוב הציון](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## לפי אילו מסמכים חושב הציון?

הריצו שוב את אותה שאילתה עם אותם מזהים כשירים מול כל אוסף מסמכים שמשמש לחישוב הציון. שמרו את גרסת האינדקס או האוסף, את אופן העיבוד של השאילתה ואת הגדרות חישוב הציון. באוסף שממנו חושבו הנתונים, השוו את מספר המסמכים, את אורכם הממוצע ואת מספר המסמכים שבהם מופיעה כל מילת חיפוש.

גם הוספה של מסמך שלא מכיל אף מילת חיפוש יכולה לשנות את ההתאמה של הציון לפי אורך המסמך. בדוגמה אחת, הוספה כזאת מביאה את האורך הממוצע לקצת פחות מ-18 טוקנים, ל-18 בדיוק או לקצת יותר. מתחת ל-18 המועמד A מוביל, ב-18 הוא משתווה ל-B ומעל 18 הוא בפיגור. כשההתאמה לפי אורך כבויה, B מוביל בכל המקרים. [בדיקת האורך הממוצע](https://sapien1.com/he/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

עריכת מסמכים יכולה לשנות את משקל מילות החיפוש גם אם האורך הממוצע קבוע. בדוגמה עם תשעה מסמכים, שתי עריכות במסמכי הרקע מגדילות את מספר המסמכים שבהם מופיע `red` משניים לארבעה. מספר המסמכים שבהם מופיע `blue` נשאר שלושה. A תואם ל-`red` והמועמד B תואם ל-`blue`. תחילה A מוביל, אחרי העריכה הראשונה הוא משתווה ל-B ואחרי השנייה הוא בפיגור. שני המועמדים והאורך הממוצע של ארבעה טוקנים נשארים קבועים. [בדיקת שכיחות המילים](https://sapien1.com/he/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## אילו מסמכים קובעים את הנתונים בכל מקטע?

אם כל מקטע מחשב ציונים בנפרד, שמרו את השיוך של כל מועמד ומסמך רקע למקטע שלו. חלוקה אחרת של אותו אוסף יכולה לשנות את התוצאה כשמשווים ציונים בין מקטעים. בדוגמה עם 18 מסמכים, שתי החלפות של מסמכי רקע העבירו את ההובלה המקומית מ-A ל-B. בחישוב אחד שמתבסס על כל האוסף, בלי שינוי במסמכים, B מקבל ציון גבוה יותר בכל חלוקה שנבדקה. [בדיקת חלוקת האינדקס](https://sapien1.com/he/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

כשמשחזרים חיפוש מבוזר, בדקו באיזה מצב חושבו הציונים. למשל, התיעוד של Elasticsearch מתאר מצבים שמשתמשים בשכיחות מילים במקטע הנוכחי או בכל המקטעים. הציונים שמופיעים למעלה חושבו בדוגמה ב-Python. [ממשק החיפוש של Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## אילו מועמדים הגיעו לדירוג חוזר?

השוו בין המזהים לפני צמצום רשימת המועמדים ואחריו. רשמו איך חושב הציון בכל שלב, כמה מועמדים יכולים לעבור מכל מקטע ואיך הוכרע שוויון בציונים אם הוא השפיע על הבחירה. בחרו שאילתת בדיקה שאפשר לדרג בה את כל המועמדים הכשירים. הדירוג המלא יעזור לזהות מי יכול להגיע למקום הראשון לפי כלל החישוב הסופי.

בדוגמה נפרדת עם 18 מסמכים, חישוב לפי כל האוסף נותן את הסדר B, C, A. הטבלה מראה איך הסינון הראשוני משפיע על הסדר הסופי כאשר הדירוג החוזר משתמש תמיד בציונים שחושבו לפי כל האוסף. [בדיקת הסינון הראשוני](https://sapien1.com/he/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| סינון ראשוני | הסדר הסופי בחלוקה המקורית | הסדר הסופי אחרי שתי החלפות של מסמכי רקע |
| --- | --- | --- |
| BM25 מקומי, מועמד אחד מכל מקטע | C, A | B, C |
| BM25 מקומי, עד שני מועמדים מכל מקטע | B, C, A | B, C, A |
| BM25 לפי כל האוסף, מועמד אחד מכל מקטע | B, C | B, C |

בשורה הראשונה, בחלוקה המקורית, B יוצא מהרשימה לפני הדירוג החוזר. בדקו למי ניתן ציון וגם איך חישבו אותו. אם מועמד חסר ברשימת המועמדים לדירוג חוזר, שחזרו את הסינון הראשוני. אם המועמדים זהים והסדר שונה, השוו את הציונים הסופיים ואת אופן ההכרעה בציונים שווים.
