Исследования
Как воспроизвести результат объединения по обратным рангам
Чтобы воспроизвести результат объединения по обратным рангам (RRF), начните с упорядоченного списка, который каждый источник фактически передал на объединение. Сохраните списки, константу ранга, веса источников и идентификаторы для группировки. Идентификаторы кандидатов и даже первый результат могут не измениться, хотя данные для расчёта баллов стали другими. Формула RRF
Сравните вклад каждого списка
Запишите, сколько результатов взяли из каждого источника и сколько выдали в конце. Эти ограничения действуют на разных этапах. В условном примере увеличение одного входного списка с одного результата до двух даёт A вклад из второго источника, и A обходит B. Все кандидаты остаются в объединённом наборе. Если ограничить выдачу одним результатом уже после полного объединения, первым всё равно будет A. Проверка глубины входных списков
Для каждого кандидата около порога сравните учтённую позицию и вклад каждого источника. Кандидат может потерять баллы из одного списка и остаться в наборе благодаря другому.
Проверьте константу ранга и фактические веса
Если входные позиции совпадают, повторите расчёт с константой ранга и весами источников. В примере с тремя списками A дважды занимает первое место. B один раз первый и дважды двенадцатый. При положительной константе меньше 10 лидирует A, при 10 у A и B равные баллы, а выше 10 лидирует B. Сохраните правило для равных баллов, если оно может повлиять на выдачу. Проверка константы ранга
Проверьте, сколько раз учитывался список каждого источника. Если учесть точную копию с полным весом, эффект будет таким же, как при добавлении этого веса к исходному списку. Если разделить исходный вес между копиями, все баллы взвешенной суммы сохранятся. Умножение всех весов на один и тот же положительный коэффициент сохраняет порядок. Проверка с повтором источника
В примере меняются глубина списков и число копий. Полный список поиска по словам A, C, B, D всегда учитывается с весом один. Каждый семантический список берёт первые результаты из B, A, D, C тоже с весом один. Константа ранга равна 60. Второй семантический список, если он есть, полностью повторяет первый. Совместная проверка
| Учтённые позиции в каждом семантическом списке | Один семантический список | Два одинаковых семантических списка |
|---|---|---|
| 1 | B | B |
| 2 | A | B |
При переходе от верхней левой ячейки к нижней правой B остаётся первым, хотя меняются и лимит, и число списков. Если менять по одной настройке, видно, что более длинный список выводит A на первое место, а учёт копии возвращает лидерство B.
Проверьте, каким идентификаторам начисляются баллы
Если поиск находит отрывки, а выдача показывает документы, запишите, к какому документу относится каждый отрывок и когда происходит группировка. В примере в двух источниках лидируют разные отрывки из A. Один и тот же отрывок из B стоит вторым в обоих источниках. Группировка по документам внутри каждого источника до объединения ставит на первое место A. Объединение по отрывкам с последующим выбором отрывка с наибольшим баллом для каждого документа ставит на первое место B. В обеих выдачах одни и те же четыре документа. Проверка группировки отрывков