# 索引变更后，如何复现 BM25 排名

保存计算 BM25 统计数据所用的文档、可以纳入检索的文档 ID，以及每轮排序传到下一轮的 ID。这样就能查明变动出在查询词的权重、各分片的得分，还是候选文档的筛选。示例采用预先切分为词元的虚构文档，使用 `rank-bm25` 0.2.2。 [计分代码](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## 得分是用哪些文档算出来的？

对每个用于计算得分的文档集，用同一条查询和相同的待选 ID 重新运行。记录索引或文档集的版本、查询的处理方式以及计分设置。在提供统计数据的文档集中，比较文档总数、文档平均长度，以及每个查询词分别出现在多少篇文档中。

新增的文档即使没有匹配任何查询词，也可能改变按长度调整得分的方式。有个示例中，加入这样的文档后，平均长度略低于 18 个词元、正好等于 18 个词元或略高于这一数值。低于 18 时 A 领先，等于 18 时 A 和 B 同分，高于 18 时 A 落后。关闭长度调整后，B 在这几种情况下都领先。 [平均长度测试](https://sapien1.com/zh-Hans/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

即使平均长度不变，修改文档也可能改变查询词的权重。在一个含九篇文档的示例中，对背景文档做两次修改后，包含 `red` 的文档从两篇增至四篇，包含 `blue` 的文档仍是三篇。A 匹配 `red`，B 匹配 `blue`。起初 A 领先，第一次修改后与 B 同分，第二次修改后落后。两个候选文档保持不变，平均长度也一直是四个词元。 [查询词出现的文档数测试](https://sapien1.com/zh-Hans/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## 每个分片的统计数据来自哪些文档？

如果各分片分别计分，请记录每篇候选文档和背景文档所在的分片。即使文档一样，换一种分片安排也可能改变跨分片比较得分的结果。在一个有 18 篇文档的示例中，两次互换背景文档的位置后，按分片计分时，领先者从 A 变成了 B。如果用同一个计分器对未变动的整个文档集计分，在所有测试过的分片安排中都是 B 得分更高。 [分片安排测试](https://sapien1.com/zh-Hans/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

复现分布式检索时，检查所配置的计分模式。例如，Elasticsearch 的文档介绍了使用当前分片词频或所有分片词频的模式。上面列出的分数来自 Python 示例。 [Elasticsearch 搜索 API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## 哪些候选文档进入重排？

比较候选名单截断前后的 ID。记录每轮的计分方法和各分片保留多少名。如果同分会影响入选，也要记下具体规则。找一条可以给所有待选文档排名的测试查询，用完整排名判断按重排规则哪些候选文档可能排第一。

另一个示例也有 18 篇文档。按整个文档集计分，候选文档的排名为 B, C, A。重排始终采用整个文档集的计分结果，表中列出了不同初筛方式下的最终排名。 [初筛测试](https://sapien1.com/zh-Hans/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| 初筛方式 | 原始分片下的最终排名 | 两次互换背景文档位置后的最终排名 |
| --- | --- | --- |
| 分片内 BM25，每个分片取一篇 | C, A | B, C |
| 分片内 BM25，每个分片最多取两篇 | B, C, A | B, C, A |
| 按整个文档集计算 BM25，每个分片取一篇 | B, C | B, C |

表格第一行中，按照原来的分片安排，B 在重排前就被淘汰了。先确认哪些候选文档获得了分数，再查看分数是怎么算的。如果有候选文档没进入重排，就复现初筛。若重排收到的候选文档相同但排名不同，就比较重排得分和同分处理方式。
