Exemplos para reproduzir um ranking BM25
Estes exemplos usam documentos e consultas fictícios. Eles mostram como os mesmos candidatos podem receber pontuações diferentes quando muda a coleção usada no cálculo e como a seleção inicial pode deixar um candidato de fora antes da segunda classificação. Os cálculos usam a versão especificada de rank-bm25.
Baixar os cinco scripts e os resultados salvos (ZIP). O arquivo README explica como instalar as versões especificadas das dependências do Python e comparar os resultados dos testes.
Como mudou o comprimento médio dos documentos?
Até um documento que não contém nenhum termo da consulta pode mudar o comprimento médio usado para calcular as pontuações. Neste exemplo, A lidera abaixo da média de 18 tokens, empata com B em 18 e fica atrás acima de 18. No teste de controle, com o ajuste por comprimento desativado, B lidera em todos os casos.
Quais documentos mudaram o peso dos termos?
Em uma coleção de nove documentos fictícios, A corresponde a red e B a blue. Duas alterações em outros documentos aumentam de dois para quatro o número de documentos com red. O número de documentos com blue continua em três. A começa na frente, empata com B após a primeira alteração e fica atrás após a segunda. Os candidatos e a média de quatro tokens continuam iguais.
Quais documentos contam em cada partição?
Neste exemplo com 18 documentos, duas trocas de outros documentos entre as partições invertem a ordem de A e B quando cada partição usa as próprias estatísticas para calcular a pontuação. O cálculo na coleção inteira, que não mudou, dá a B a maior pontuação em todas as distribuições testadas. A API de busca do Elasticsearch descreve os diferentes conjuntos de documentos dos quais podem vir as estatísticas dos termos. As pontuações nesta página vêm do exemplo em Python.
Quais documentos chegam à segunda classificação?
Em outro exemplo com 18 documentos, atribuir pontuações a todos os candidatos elegíveis dá a ordem B, C, A. A segunda classificação usa as mesmas pontuações calculadas na coleção inteira. A seleção inicial define quais candidatos chegam a essa etapa.
Seleção inicial e resultados da segunda classificação
| Seleção inicial | Ordem final original | Ordem final após duas trocas de outros documentos |
| BM25 local, um por partição | C, A | B, C |
| BM25 local, até dois por partição | B, C, A | B, C, A |
| BM25 na coleção inteira, um por partição | B, C | B, C |