复现 BM25 排名的示例
这些示例使用虚构的文档和查询,展示了计分用的文档集改变后,同一批候选文档的分数为什么可能不同,也展示了候选文档如何在初筛时被排除,进不了重排。计算使用的是 指定版本的 rank-bm25。
下载五个脚本和已保存的结果(ZIP)。README 文件说明了如何安装指定版本的 Python 依赖并对比重新运行后的结果。
文档平均长度是怎么变的?
即使新增的文档没有任何查询词,也可能改变计分时用到的平均长度。在这个示例中,平均长度低于 18 个词元时 A 领先,等于 18 时 A 和 B 同分,高于 18 时 A 落后。在关闭长度调整的对照测试中,B 始终领先。
哪些文档改变了查询词的权重?
在一个由九篇虚构文档组成的文档集中,A 匹配 red,B 匹配 blue。对其他文档做两次修改后,包含 red 的文档从两篇增至四篇,包含 blue 的文档仍是三篇。起初 A 领先,第一次修改后与 B 同分,第二次修改后落后。候选文档不变,平均长度也一直是四个词元。
各分片的统计数据来自哪些文档?
这个示例有 18 篇文档。在各分片使用自己的统计数据计分时,两次互换不同分片中的背景文档会让 A 和 B 的顺序倒转。如果对未变动的整个文档集统一计分,所有测试过的分片安排中都是 B 得分更高。Elasticsearch 搜索 API 说明了查询词统计数据可取自哪些范围。这里的得分来自 Python 示例。
哪些文档进入了重排?
另一个示例有 18 篇文档。对所有待选文档计分,结果是 B, C, A。重排继续使用按整个文档集算出的同一组分数。初筛决定哪些候选文档能进入重排。
初筛方式和重排结果
| 初筛方式 | 原始分片下的最终排名 | 两次互换背景文档位置后的最终排名 |
| 分片内 BM25,每个分片取一篇 | C, A | B, C |
| 分片内 BM25,每个分片最多取两篇 | B, C, A | B, C, A |
| 按整个文档集计算 BM25,每个分片取一篇 | B, C | B, C |