# Как воспроизвести результат объединения по обратным рангам

Чтобы воспроизвести результат объединения по обратным рангам (RRF), начните с упорядоченного списка, который каждый источник фактически передал на объединение. Сохраните списки, константу ранга, веса источников и идентификаторы для группировки. Идентификаторы кандидатов и даже первый результат могут не измениться, хотя данные для расчёта баллов стали другими. [Формула RRF](https://cormack.uwaterloo.ca/cormack/cormacksigir09-rrf.pdf)

## Сравните вклад каждого списка

Запишите, сколько результатов взяли из каждого источника и сколько выдали в конце. Эти ограничения действуют на разных этапах. В условном примере увеличение одного входного списка с одного результата до двух даёт A вклад из второго источника, и A обходит B. Все кандидаты остаются в объединённом наборе. Если ограничить выдачу одним результатом уже после полного объединения, первым всё равно будет A. [Проверка глубины входных списков](https://sapien1.com/ru/research/replay-hybrid-search-ranking-evidence/evidence.html#input-depth)

Для каждого кандидата около порога сравните учтённую позицию и вклад каждого источника. Кандидат может потерять баллы из одного списка и остаться в наборе благодаря другому.

## Проверьте константу ранга и фактические веса

Если входные позиции совпадают, повторите расчёт с константой ранга и весами источников. В примере с тремя списками A дважды занимает первое место. B один раз первый и дважды двенадцатый. При положительной константе меньше 10 лидирует A, при 10 у A и B равные баллы, а выше 10 лидирует B. Сохраните правило для равных баллов, если оно может повлиять на выдачу. [Проверка константы ранга](https://sapien1.com/ru/research/replay-hybrid-search-ranking-evidence/evidence.html#rank-constant)

Проверьте, сколько раз учитывался список каждого источника. Если учесть точную копию с полным весом, эффект будет таким же, как при добавлении этого веса к исходному списку. Если разделить исходный вес между копиями, все баллы взвешенной суммы сохранятся. Умножение всех весов на один и тот же положительный коэффициент сохраняет порядок. [Проверка с повтором источника](https://sapien1.com/ru/research/replay-hybrid-search-ranking-evidence/evidence.html#source-duplication)

В примере меняются глубина списков и число копий. Полный список поиска по словам `A, C, B, D` всегда учитывается с весом один. Каждый семантический список берёт первые результаты из `B, A, D, C` тоже с весом один. Константа ранга равна 60. Второй семантический список, если он есть, полностью повторяет первый. [Совместная проверка](https://sapien1.com/ru/research/replay-hybrid-search-ranking-evidence/evidence.html#combined-replay)

| Учтённые позиции в каждом семантическом списке | Один семантический список | Два одинаковых семантических списка |
| ---: | --- | --- |
| 1 | B | B |
| 2 | A | B |

При переходе от верхней левой ячейки к нижней правой B остаётся первым, хотя меняются и лимит, и число списков. Если менять по одной настройке, видно, что более длинный список выводит A на первое место, а учёт копии возвращает лидерство B.

## Проверьте, каким идентификаторам начисляются баллы

Если поиск находит отрывки, а выдача показывает документы, запишите, к какому документу относится каждый отрывок и когда происходит группировка. В примере в двух источниках лидируют разные отрывки из A. Один и тот же отрывок из B стоит вторым в обоих источниках. Группировка по документам внутри каждого источника до объединения ставит на первое место A. Объединение по отрывкам с последующим выбором отрывка с наибольшим баллом для каждого документа ставит на первое место B. В обеих выдачах одни и те же четыре документа. [Проверка группировки отрывков](https://sapien1.com/ru/research/replay-hybrid-search-ranking-evidence/evidence.html#passage-grouping)
