Pular para o conteúdo principal

Menu

Pesquisa

Como reproduzir um ranking BM25 após uma mudança no índice

Idioma: Português (Brasil)

Guarde os documentos usados para calcular as estatísticas do BM25, os IDs que podem sair na busca e os IDs enviados de uma etapa de classificação para a seguinte. Assim você pode descobrir se houve mudança no peso dos termos, nas pontuações por partição ou na seleção de candidatos. Os exemplos usam documentos fictícios já divididos em tokens e rank-bm25 0.2.2. Implementação da pontuação

Confira qual coleção determina a pontuação

Repita a mesma consulta com os mesmos IDs elegíveis para cada coleção usada no cálculo. Salve a versão do índice ou corpus, a análise da consulta e a configuração de pontuação. No conjunto que fornece as estatísticas, compare o tamanho da coleção, o comprimento médio dos documentos e quantos documentos contêm cada termo da consulta.

Adicionar um documento sem termos que correspondam à consulta pode mudar o ajuste por comprimento. Em um exemplo, essa adição deixa a média pouco abaixo de 18 tokens, em 18 ou pouco acima de 18. A lidera abaixo de 18, empata com B em 18 e fica atrás acima de 18. B lidera em todos os casos quando o ajuste por comprimento está desativado. Teste de comprimento médio

Edições também podem mudar os pesos dos termos com o comprimento médio fixo. Em um exemplo com nove documentos, duas edições em outros documentos elevam de dois para quatro o número de documentos com red, enquanto o de blue continua em três. A corresponde a red e B a blue. A começa na frente, empata com B após a primeira edição e fica atrás após a segunda. Os dois candidatos e a média de quatro tokens continuam iguais. Teste de frequência dos termos

Confira quais documentos entram nas estatísticas de cada partição

Se a pontuação for local, registre em qual partição estão os candidatos e os outros documentos. Reconstruir o mesmo corpus com outra distribuição pode mudar a comparação de pontuações entre partições. Em um exemplo com 18 documentos, duas trocas de outros documentos fazem B ultrapassar A na comparação local. Um único cálculo sobre toda a coleção, que permanece igual, dá a B a maior pontuação em todas as distribuições testadas. Teste de distribuição entre partições

Ao reproduzir uma busca distribuída, confira qual modo de pontuação está configurado. A documentação do Elasticsearch, por exemplo, descreve modos que usam frequências da partição atual ou de todas as partições. As pontuações acima vêm do exemplo em Python. API de busca do Elasticsearch

Confira quais candidatos passam à segunda classificação

Compare os IDs antes e depois do corte da primeira seleção. Registre o método de pontuação de cada etapa, quantos resultados entram por partição e o critério de desempate quando pontuações iguais puderem mudar a seleção. Em uma consulta de teste manejável, ordene todos os candidatos elegíveis pela regra da segunda classificação para ver quais poderiam ficar em primeiro.

Em outro exemplo com 18 documentos, a pontuação na coleção inteira ordena os candidatos elegíveis como B, C, A. A tabela mostra como a seleção inicial afeta a ordem final quando a segunda classificação sempre usa pontuações da coleção inteira. Teste de seleção inicial

Seleção inicialOrdem final originalOrdem final após duas trocas de outros documentos
BM25 local, um por partiçãoC, AB, C
BM25 local, até dois por partiçãoB, C, AB, C, A
BM25 na coleção inteira, um por partiçãoB, CB, C

Na primeira linha, B fica de fora antes da segunda classificação na distribuição original. A comparação separa a mudança nos candidatos pontuados da mudança em como os finalistas recebem pontuação. Se faltar um candidato na entrada da segunda classificação, repita a seleção inicial. Se os candidatos forem os mesmos e a ordem mudar, compare as pontuações da segunda classificação e o critério de desempate.