跳至主要內容

選單

研究

索引變更後,如何重現 BM25 排名

語言: 繁體中文(台灣)

儲存計算 BM25 統計資料所用的文件、可參與檢索的文件 ID,以及各排序階段傳給下一階段的 ID。這樣就能找出變動出在哪裡:查詢詞的權重、分片的分數,或候選文件的篩選方式。範例使用預先切成詞元的虛構文件和 rank-bm25 0.2.2。 計分程式碼

用哪些文件算出分數?

對每個用來計分的文件集,用同一項查詢和相同的候選 ID 再跑一次。記下索引或文件集的版本、查詢的處理方式和計分設定。針對用來計算統計資料的文件集,比較文件數量、平均長度,以及各查詢詞分別出現在幾篇文件中。

即使新增的文件沒有任何查詢詞,也可能影響依文件長度調整分數的方式。在某個範例中,新增這類文件會讓平均長度略低於 18 個詞元、剛好等於 18 個詞元,或略高於這個數字。低於 18 時 A 領先,等於 18 時 A 和 B 同分,高於 18 時 A 落後。關閉長度調整後,這幾種情況都是 B 領先。 平均長度測試

即使平均長度相同,修改文件也可能改變查詢詞的權重。在九篇文件的範例中,背景文件經過兩次修改後,包含 red 的文件從兩篇增為四篇,而包含 blue 的文件維持三篇。A 符合 red,B 符合 blue。一開始 A 領先,第一次修改後跟 B 同分,第二次修改後落後。兩篇候選文件沒有變動,平均長度一樣是四個詞元。 查詢詞出現的文件數測試

各分片用哪些文件計算統計資料?

如果各分片分別計分,請記錄候選文件和背景文件各自位在哪個分片。即使使用同一批文件,以不同方式分配到各分片,也可能改變跨分片比較分數的結果。在一個用了 18 篇文件的範例中,兩次互換背景文件後,按分片計分的比較結果從 A 領先變成 B 領先。若統一以未變動的整個文件集計分,在測試過的每種配置下,B 都拿到較高分。 分片配置測試

重現分散式搜尋時,請確認設定的計分模式。例如,Elasticsearch 的說明文件列出使用目前分片或所有分片詞頻的模式。上面的分數來自 Python 範例。 Elasticsearch 搜尋 API

哪些候選文件進入重排?

比較縮短候選名單前後的 ID。記下各階段的計分方式、每個分片保留幾名,以及同分會影響入選時採用的取捨規則。挑一項能為所有符合資格的候選文件排名的測試查詢,算出完整排名,就能知道按照重排的計分規則,哪些候選文件有機會排第一。

在另一個有 18 篇文件的範例中,以整個文件集計分得到的排名是 B, C, A。重排一律使用整個文件集算出的分數,表中顯示初步篩選如何改變最後的排名。 初步篩選測試

初步篩選方式原始配置下的最終排名兩次互換背景文件後的最終排名
分片內的 BM25,每個分片取一篇C, AB, C
分片內的 BM25,每個分片最多取兩篇B, C, AB, C, A
按整個文件集計算 BM25,每個分片取一篇B, CB, C

表格第一列中,按原始配置,B 在重排之前就被淘汰了。分別確認哪些候選文件有拿到分數,以及分數如何計算。若有候選文件沒進入重排,就重跑初步篩選。如果重排的候選文件相同但順序不同,就比較重排分數和同分時的處理方式。