跳至主要内容

菜单

研究

索引变更后,如何复现 BM25 排名

语言: 简体中文

保存计算 BM25 统计数据所用的文档、可以纳入检索的文档 ID,以及每轮排序传到下一轮的 ID。这样就能查明变动出在查询词的权重、各分片的得分,还是候选文档的筛选。示例采用预先切分为词元的虚构文档,使用 rank-bm25 0.2.2。 计分代码

得分是用哪些文档算出来的?

对每个用于计算得分的文档集,用同一条查询和相同的待选 ID 重新运行。记录索引或文档集的版本、查询的处理方式以及计分设置。在提供统计数据的文档集中,比较文档总数、文档平均长度,以及每个查询词分别出现在多少篇文档中。

新增的文档即使没有匹配任何查询词,也可能改变按长度调整得分的方式。有个示例中,加入这样的文档后,平均长度略低于 18 个词元、正好等于 18 个词元或略高于这一数值。低于 18 时 A 领先,等于 18 时 A 和 B 同分,高于 18 时 A 落后。关闭长度调整后,B 在这几种情况下都领先。 平均长度测试

即使平均长度不变,修改文档也可能改变查询词的权重。在一个含九篇文档的示例中,对背景文档做两次修改后,包含 red 的文档从两篇增至四篇,包含 blue 的文档仍是三篇。A 匹配 red,B 匹配 blue。起初 A 领先,第一次修改后与 B 同分,第二次修改后落后。两个候选文档保持不变,平均长度也一直是四个词元。 查询词出现的文档数测试

每个分片的统计数据来自哪些文档?

如果各分片分别计分,请记录每篇候选文档和背景文档所在的分片。即使文档一样,换一种分片安排也可能改变跨分片比较得分的结果。在一个有 18 篇文档的示例中,两次互换背景文档的位置后,按分片计分时,领先者从 A 变成了 B。如果用同一个计分器对未变动的整个文档集计分,在所有测试过的分片安排中都是 B 得分更高。 分片安排测试

复现分布式检索时,检查所配置的计分模式。例如,Elasticsearch 的文档介绍了使用当前分片词频或所有分片词频的模式。上面列出的分数来自 Python 示例。 Elasticsearch 搜索 API

哪些候选文档进入重排?

比较候选名单截断前后的 ID。记录每轮的计分方法和各分片保留多少名。如果同分会影响入选,也要记下具体规则。找一条可以给所有待选文档排名的测试查询,用完整排名判断按重排规则哪些候选文档可能排第一。

另一个示例也有 18 篇文档。按整个文档集计分,候选文档的排名为 B, C, A。重排始终采用整个文档集的计分结果,表中列出了不同初筛方式下的最终排名。 初筛测试

初筛方式原始分片下的最终排名两次互换背景文档位置后的最终排名
分片内 BM25,每个分片取一篇C, AB, C
分片内 BM25,每个分片最多取两篇B, C, AB, C, A
按整个文档集计算 BM25,每个分片取一篇B, CB, C

表格第一行中,按照原来的分片安排,B 在重排前就被淘汰了。先确认哪些候选文档获得了分数,再查看分数是怎么算的。如果有候选文档没进入重排,就复现初筛。若重排收到的候选文档相同但排名不同,就比较重排得分和同分处理方式。