# Как воспроизвести порядок результатов BM25 после изменения индекса

Сохраните документы, по которым считалась статистика BM25, идентификаторы документов, доступных для поиска, и идентификаторы, переданные между этапами ранжирования. Так вы сможете выяснить, что изменилось: вес слов, оценки в частях индекса или отбор кандидатов. В примерах используются вымышленные документы, заранее разбитые на токены, и `rank-bm25` 0.2.2. [Код расчёта оценок](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## По каким документам рассчитали оценки?

Повторите тот же запрос с теми же доступными идентификаторами для каждой коллекции, по которой считается оценка. Сохраните версию индекса или коллекции, способ обработки запроса и настройки расчёта. Сравните число документов, их среднюю длину и количество документов с каждым из слов запроса. Для сравнения берите коллекцию, из которой получена статистика.

Даже документ, в котором нет слов из запроса, может изменить поправку на длину. В одном примере добавление такого документа даёт среднюю длину чуть меньше 18 токенов, ровно 18 или чуть больше. При длине меньше 18 лидирует A, при 18 он получает ту же оценку, что и B, а при длине больше 18 уступает. С отключённой поправкой на длину B лидирует во всех случаях. [Проверка средней длины](https://sapien1.com/ru/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Изменения в документах могут повлиять на вес слов даже при неизменной средней длине. В примере с девятью документами две правки фоновых документов увеличивают число документов с `red` с двух до четырёх. Число документов с `blue` остаётся прежним и равно трём. A соответствует `red`, а B соответствует `blue`. Сначала A лидирует, после первой правки сравнивается с B, после второй отстаёт. Оба кандидата и средняя длина в четыре токена остаются прежними. [Проверка частот слов](https://sapien1.com/ru/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Какие документы учитываются в каждой части индекса?

Когда оценки рассчитываются отдельно по частям индекса, сохраните принадлежность к частям для кандидатов и фоновых документов. Если заново распределить ту же коллекцию, сравнение оценок из разных частей может дать другой результат. В примере с 18 документами после двух обменов фоновыми документами по локальным оценкам лидирует B, хотя раньше лидировал A. Единый расчёт по всей неизменной коллекции даёт B более высокую оценку во всех проверенных вариантах разбиения. [Проверка разбиения индекса](https://sapien1.com/ru/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

При повторе распределённого поиска проверьте, какой режим расчёта был выбран. Например, в документации Elasticsearch описаны режимы, использующие частоты слов в текущей части индекса или во всех частях. Оценки выше получены в примере на Python. [API поиска Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Кто дошёл до повторного ранжирования?

Сравните идентификаторы до и после сокращения списка. Запишите метод расчёта оценок на каждом этапе, сколько кандидатов может пройти из каждой части и как разрешается равенство оценок, если оно влияет на отбор. Для проверочного запроса, по которому можно упорядочить всех доступных кандидатов, составьте полный список. Он покажет, кто мог бы победить по правилам итогового расчёта.

В отдельном примере с 18 документами расчёт по всей коллекции даёт порядок B, C, A. В таблице показано, как первый отбор влияет на итоговый порядок, если на этапе повторного ранжирования всегда используются оценки по всей коллекции. [Проверка первого отбора](https://sapien1.com/ru/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Первый отбор | Исходный итоговый порядок | Итоговый порядок после двух обменов фоновыми документами |
| --- | --- | --- |
| Локальный BM25, по одному из каждой части | C, A | B, C |
| Локальный BM25, до двух из каждой части | B, C, A | B, C, A |
| BM25 по всей коллекции, по одному из каждой части | B, C | B, C |

В первой строке при исходном разбиении B выбывает до повторного ранжирования. Проверьте, кто получает оценку и как она рассчитывается. Если кандидат отсутствует в списке для повторного ранжирования, воспроизведите первый отбор. Если список совпадает, а порядок отличается, сравните итоговые оценки и правила разрешения равенства.
