Примеры воспроизведения порядка результатов BM25
В этих примерах используются вымышленные документы и запросы. Они показывают, как у тех же кандидатов могут измениться оценки, если поменяется коллекция для расчёта, и как кандидат может выбыть ещё при первом отборе. Для расчётов используется указанная версия rank-bm25.
Скачать пять скриптов и сохранённые результаты (ZIP). В файле README описано, как установить указанные версии пакетов Python и сравнить результаты.
Как изменилась средняя длина документов?
Даже добавление документа без единого слова из запроса может изменить среднюю длину, которая учитывается при расчёте оценок. В этом примере A лидирует при среднем значении меньше 18 токенов, получает ту же оценку, что и B, при 18 и отстаёт при значении больше 18. В контрольном расчёте с отключённой поправкой на длину во всех случаях лидирует B.
Какие документы изменили вес слов?
В коллекции из девяти вымышленных документов A соответствует red, а B соответствует blue. Две правки в других документах увеличивают число документов с red с двух до четырёх. Число документов с blue остаётся равным трём. Сначала A лидирует, после первой правки сравнивается с B, после второй отстаёт. Кандидаты и средняя длина в четыре токена остаются прежними.
Какие документы учитываются в каждой части индекса?
В этом примере с 18 документами два обмена фоновыми документами между частями индекса меняют A и B местами, если оценки каждой части рассчитаны по её собственным данным. При едином расчёте по всей неизменной коллекции B получает более высокую оценку во всех проверенных вариантах разбиения. API поиска Elasticsearch описывает, из каких частей индекса можно брать статистику слов. Оценки здесь получены в примере на Python.
Какие документы дошли до повторного ранжирования?
В отдельном примере с 18 документами расчёт для всех доступных кандидатов даёт порядок B, C, A. При повторном ранжировании используются те же оценки по всей коллекции. Первый отбор определяет, какие кандидаты попадут на этот этап.
Первый отбор и результаты повторного ранжирования
| Первый отбор | Исходный итоговый порядок | Итоговый порядок после двух обменов фоновыми документами |
| Локальный BM25, по одному из каждой части | C, A | B, C |
| Локальный BM25, до двух из каждой части | B, C, A | B, C, A |
| BM25 по всей коллекции, по одному из каждой части | B, C | B, C |