# Como reproduzir um ranking BM25 após uma mudança no índice

Guarde os documentos usados para calcular as estatísticas do BM25, os IDs que podem sair na busca e os IDs enviados de uma etapa de classificação para a seguinte. Assim você pode descobrir se houve mudança no peso dos termos, nas pontuações por partição ou na seleção de candidatos. Os exemplos usam documentos fictícios já divididos em tokens e `rank-bm25` 0.2.2. [Implementação da pontuação](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Confira qual coleção determina a pontuação

Repita a mesma consulta com os mesmos IDs elegíveis para cada coleção usada no cálculo. Salve a versão do índice ou corpus, a análise da consulta e a configuração de pontuação. No conjunto que fornece as estatísticas, compare o tamanho da coleção, o comprimento médio dos documentos e quantos documentos contêm cada termo da consulta.

Adicionar um documento sem termos que correspondam à consulta pode mudar o ajuste por comprimento. Em um exemplo, essa adição deixa a média pouco abaixo de 18 tokens, em 18 ou pouco acima de 18. A lidera abaixo de 18, empata com B em 18 e fica atrás acima de 18. B lidera em todos os casos quando o ajuste por comprimento está desativado. [Teste de comprimento médio](https://sapien1.com/pt-BR/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Edições também podem mudar os pesos dos termos com o comprimento médio fixo. Em um exemplo com nove documentos, duas edições em outros documentos elevam de dois para quatro o número de documentos com `red`, enquanto o de `blue` continua em três. A corresponde a `red` e B a `blue`. A começa na frente, empata com B após a primeira edição e fica atrás após a segunda. Os dois candidatos e a média de quatro tokens continuam iguais. [Teste de frequência dos termos](https://sapien1.com/pt-BR/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Confira quais documentos entram nas estatísticas de cada partição

Se a pontuação for local, registre em qual partição estão os candidatos e os outros documentos. Reconstruir o mesmo corpus com outra distribuição pode mudar a comparação de pontuações entre partições. Em um exemplo com 18 documentos, duas trocas de outros documentos fazem B ultrapassar A na comparação local. Um único cálculo sobre toda a coleção, que permanece igual, dá a B a maior pontuação em todas as distribuições testadas. [Teste de distribuição entre partições](https://sapien1.com/pt-BR/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Ao reproduzir uma busca distribuída, confira qual modo de pontuação está configurado. A documentação do Elasticsearch, por exemplo, descreve modos que usam frequências da partição atual ou de todas as partições. As pontuações acima vêm do exemplo em Python. [API de busca do Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Confira quais candidatos passam à segunda classificação

Compare os IDs antes e depois do corte da primeira seleção. Registre o método de pontuação de cada etapa, quantos resultados entram por partição e o critério de desempate quando pontuações iguais puderem mudar a seleção. Em uma consulta de teste manejável, ordene todos os candidatos elegíveis pela regra da segunda classificação para ver quais poderiam ficar em primeiro.

Em outro exemplo com 18 documentos, a pontuação na coleção inteira ordena os candidatos elegíveis como B, C, A. A tabela mostra como a seleção inicial afeta a ordem final quando a segunda classificação sempre usa pontuações da coleção inteira. [Teste de seleção inicial](https://sapien1.com/pt-BR/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Seleção inicial | Ordem final original | Ordem final após duas trocas de outros documentos |
| --- | --- | --- |
| BM25 local, um por partição | C, A | B, C |
| BM25 local, até dois por partição | B, C, A | B, C, A |
| BM25 na coleção inteira, um por partição | B, C | B, C |

Na primeira linha, B fica de fora antes da segunda classificação na distribuição original. A comparação separa a mudança nos candidatos pontuados da mudança em como os finalistas recebem pontuação. Se faltar um candidato na entrada da segunda classificação, repita a seleção inicial. Se os candidatos forem os mesmos e a ordem mudar, compare as pontuações da segunda classificação e o critério de desempate.
