重現 BM25 排名的範例

這些範例使用虛構的文件和查詢。用來計分的文件集變動時,同一批候選文件的分數可能不同。初步篩選也可能先淘汰某篇候選文件,讓它進不了重排。計算使用的是 指定版本的 rank-bm25。

下載五個指令碼和儲存的結果(ZIP)。README 檔案說明如何安裝指定版本的 Python 套件,以及如何比對重跑後的結果。

文件的平均長度如何變化?

即使新增的文件沒有任何查詢詞,也可能改變計分時使用的平均長度。在這個範例中,低於 18 個詞元時 A 領先,等於 18 時 A 和 B 同分,高於 18 時 A 落後。在關閉長度調整的對照測試中,每次都是 B 領先。

哪些文件改變了查詢詞的權重?

在一組由九篇虛構文件組成的文件集中,A 符合 red,B 符合 blue。修改其他文件兩次後,包含 red 的文件從兩篇增為四篇,包含 blue 的文件仍是三篇。一開始 A 領先,第一次修改後跟 B 同分,第二次修改後落後。候選文件保持不變,平均長度維持四個詞元。

各分片用哪些文件計算統計資料?

這個範例有 18 篇文件。當各分片用自己的統計資料計分時,在分片之間兩次互換背景文件,會讓 A 和 B 的順序顛倒。用未變動的整個文件集統一計分時,B 在各種測過的配置下都拿到較高分。Elasticsearch 搜尋 API 說明查詢詞的統計資料可取自哪些範圍。這裡的分數來自 Python 範例。

哪些文件進入了重排?

另一個範例有 18 篇文件。給所有符合資格的候選文件計分後,順序是 B, C, A。重排繼續使用以整個文件集算出的同一組分數。初步篩選決定哪些候選文件能進入重排。

初步篩選方式和重排結果
初步篩選方式原始配置下的最終排名兩次互換背景文件後的最終排名
分片內的 BM25,每個分片取一篇C, AB, C
分片內的 BM25,每個分片最多取兩篇B, C, AB, C, A
按整個文件集計算 BM25,每個分片取一篇B, CB, C