Pesquisa
Como reproduzir um ranking BM25 após uma mudança no índice
Guarde os documentos usados para calcular as estatísticas do BM25, os IDs que podem sair na busca e os IDs enviados de uma etapa de classificação para a seguinte. Assim você pode descobrir se houve mudança no peso dos termos, nas pontuações por partição ou na seleção de candidatos. Os exemplos usam documentos fictícios já divididos em tokens e rank-bm25 0.2.2. Implementação da pontuação
Confira qual coleção determina a pontuação
Repita a mesma consulta com os mesmos IDs elegíveis para cada coleção usada no cálculo. Salve a versão do índice ou corpus, a análise da consulta e a configuração de pontuação. No conjunto que fornece as estatísticas, compare o tamanho da coleção, o comprimento médio dos documentos e quantos documentos contêm cada termo da consulta.
Adicionar um documento sem termos que correspondam à consulta pode mudar o ajuste por comprimento. Em um exemplo, essa adição deixa a média pouco abaixo de 18 tokens, em 18 ou pouco acima de 18. A lidera abaixo de 18, empata com B em 18 e fica atrás acima de 18. B lidera em todos os casos quando o ajuste por comprimento está desativado. Teste de comprimento médio
Edições também podem mudar os pesos dos termos com o comprimento médio fixo. Em um exemplo com nove documentos, duas edições em outros documentos elevam de dois para quatro o número de documentos com red, enquanto o de blue continua em três. A corresponde a red e B a blue. A começa na frente, empata com B após a primeira edição e fica atrás após a segunda. Os dois candidatos e a média de quatro tokens continuam iguais. Teste de frequência dos termos
Confira quais documentos entram nas estatísticas de cada partição
Se a pontuação for local, registre em qual partição estão os candidatos e os outros documentos. Reconstruir o mesmo corpus com outra distribuição pode mudar a comparação de pontuações entre partições. Em um exemplo com 18 documentos, duas trocas de outros documentos fazem B ultrapassar A na comparação local. Um único cálculo sobre toda a coleção, que permanece igual, dá a B a maior pontuação em todas as distribuições testadas. Teste de distribuição entre partições
Ao reproduzir uma busca distribuída, confira qual modo de pontuação está configurado. A documentação do Elasticsearch, por exemplo, descreve modos que usam frequências da partição atual ou de todas as partições. As pontuações acima vêm do exemplo em Python. API de busca do Elasticsearch
Confira quais candidatos passam à segunda classificação
Compare os IDs antes e depois do corte da primeira seleção. Registre o método de pontuação de cada etapa, quantos resultados entram por partição e o critério de desempate quando pontuações iguais puderem mudar a seleção. Em uma consulta de teste manejável, ordene todos os candidatos elegíveis pela regra da segunda classificação para ver quais poderiam ficar em primeiro.
Em outro exemplo com 18 documentos, a pontuação na coleção inteira ordena os candidatos elegíveis como B, C, A. A tabela mostra como a seleção inicial afeta a ordem final quando a segunda classificação sempre usa pontuações da coleção inteira. Teste de seleção inicial
| Seleção inicial | Ordem final original | Ordem final após duas trocas de outros documentos |
|---|---|---|
| BM25 local, um por partição | C, A | B, C |
| BM25 local, até dois por partição | B, C, A | B, C, A |
| BM25 na coleção inteira, um por partição | B, C | B, C |
Na primeira linha, B fica de fora antes da segunda classificação na distribuição original. A comparação separa a mudança nos candidatos pontuados da mudança em como os finalistas recebem pontuação. Se faltar um candidato na entrada da segunda classificação, repita a seleção inicial. Se os candidatos forem os mesmos e a ordem mudar, compare as pontuações da segunda classificação e o critério de desempate.