# 索引變更後，如何重現 BM25 排名

儲存計算 BM25 統計資料所用的文件、可參與檢索的文件 ID，以及各排序階段傳給下一階段的 ID。這樣就能找出變動出在哪裡：查詢詞的權重、分片的分數，或候選文件的篩選方式。範例使用預先切成詞元的虛構文件和 `rank-bm25` 0.2.2。 [計分程式碼](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## 用哪些文件算出分數？

對每個用來計分的文件集，用同一項查詢和相同的候選 ID 再跑一次。記下索引或文件集的版本、查詢的處理方式和計分設定。針對用來計算統計資料的文件集，比較文件數量、平均長度，以及各查詢詞分別出現在幾篇文件中。

即使新增的文件沒有任何查詢詞，也可能影響依文件長度調整分數的方式。在某個範例中，新增這類文件會讓平均長度略低於 18 個詞元、剛好等於 18 個詞元，或略高於這個數字。低於 18 時 A 領先，等於 18 時 A 和 B 同分，高於 18 時 A 落後。關閉長度調整後，這幾種情況都是 B 領先。 [平均長度測試](https://sapien1.com/zh-Hant-TW/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

即使平均長度相同，修改文件也可能改變查詢詞的權重。在九篇文件的範例中，背景文件經過兩次修改後，包含 `red` 的文件從兩篇增為四篇，而包含 `blue` 的文件維持三篇。A 符合 `red`，B 符合 `blue`。一開始 A 領先，第一次修改後跟 B 同分，第二次修改後落後。兩篇候選文件沒有變動，平均長度一樣是四個詞元。 [查詢詞出現的文件數測試](https://sapien1.com/zh-Hant-TW/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## 各分片用哪些文件計算統計資料？

如果各分片分別計分，請記錄候選文件和背景文件各自位在哪個分片。即使使用同一批文件，以不同方式分配到各分片，也可能改變跨分片比較分數的結果。在一個用了 18 篇文件的範例中，兩次互換背景文件後，按分片計分的比較結果從 A 領先變成 B 領先。若統一以未變動的整個文件集計分，在測試過的每種配置下，B 都拿到較高分。 [分片配置測試](https://sapien1.com/zh-Hant-TW/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

重現分散式搜尋時，請確認設定的計分模式。例如，Elasticsearch 的說明文件列出使用目前分片或所有分片詞頻的模式。上面的分數來自 Python 範例。 [Elasticsearch 搜尋 API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## 哪些候選文件進入重排？

比較縮短候選名單前後的 ID。記下各階段的計分方式、每個分片保留幾名，以及同分會影響入選時採用的取捨規則。挑一項能為所有符合資格的候選文件排名的測試查詢，算出完整排名，就能知道按照重排的計分規則，哪些候選文件有機會排第一。

在另一個有 18 篇文件的範例中，以整個文件集計分得到的排名是 B, C, A。重排一律使用整個文件集算出的分數，表中顯示初步篩選如何改變最後的排名。 [初步篩選測試](https://sapien1.com/zh-Hant-TW/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| 初步篩選方式 | 原始配置下的最終排名 | 兩次互換背景文件後的最終排名 |
| --- | --- | --- |
| 分片內的 BM25，每個分片取一篇 | C, A | B, C |
| 分片內的 BM25，每個分片最多取兩篇 | B, C, A | B, C, A |
| 按整個文件集計算 BM25，每個分片取一篇 | B, C | B, C |

表格第一列中，按原始配置，B 在重排之前就被淘汰了。分別確認哪些候選文件有拿到分數，以及分數如何計算。若有候選文件沒進入重排，就重跑初步篩選。如果重排的候選文件相同但順序不同，就比較重排分數和同分時的處理方式。
