复现 BM25 排名的示例

这些示例使用虚构的文档和查询,展示了计分用的文档集改变后,同一批候选文档的分数为什么可能不同,也展示了候选文档如何在初筛时被排除,进不了重排。计算使用的是 指定版本的 rank-bm25。

下载五个脚本和已保存的结果(ZIP)。README 文件说明了如何安装指定版本的 Python 依赖并对比重新运行后的结果。

文档平均长度是怎么变的?

即使新增的文档没有任何查询词,也可能改变计分时用到的平均长度。在这个示例中,平均长度低于 18 个词元时 A 领先,等于 18 时 A 和 B 同分,高于 18 时 A 落后。在关闭长度调整的对照测试中,B 始终领先。

哪些文档改变了查询词的权重?

在一个由九篇虚构文档组成的文档集中,A 匹配 red,B 匹配 blue。对其他文档做两次修改后,包含 red 的文档从两篇增至四篇,包含 blue 的文档仍是三篇。起初 A 领先,第一次修改后与 B 同分,第二次修改后落后。候选文档不变,平均长度也一直是四个词元。

各分片的统计数据来自哪些文档?

这个示例有 18 篇文档。在各分片使用自己的统计数据计分时,两次互换不同分片中的背景文档会让 A 和 B 的顺序倒转。如果对未变动的整个文档集统一计分,所有测试过的分片安排中都是 B 得分更高。Elasticsearch 搜索 API 说明了查询词统计数据可取自哪些范围。这里的得分来自 Python 示例。

哪些文档进入了重排?

另一个示例有 18 篇文档。对所有待选文档计分,结果是 B, C, A。重排继续使用按整个文档集算出的同一组分数。初筛决定哪些候选文档能进入重排。

初筛方式和重排结果
初筛方式原始分片下的最终排名两次互换背景文档位置后的最终排名
分片内 BM25,每个分片取一篇C, AB, C
分片内 BM25,每个分片最多取两篇B, C, AB, C, A
按整个文档集计算 BM25,每个分片取一篇B, CB, C