Перейти к основному содержанию

Меню

Исследования

Как воспроизвести результат объединения по обратным рангам

Язык: Русский

Чтобы воспроизвести результат объединения по обратным рангам (RRF), начните с упорядоченного списка, который каждый источник фактически передал на объединение. Сохраните списки, константу ранга, веса источников и идентификаторы для группировки. Идентификаторы кандидатов и даже первый результат могут не измениться, хотя данные для расчёта баллов стали другими. Формула RRF

Сравните вклад каждого списка

Запишите, сколько результатов взяли из каждого источника и сколько выдали в конце. Эти ограничения действуют на разных этапах. В условном примере увеличение одного входного списка с одного результата до двух даёт A вклад из второго источника, и A обходит B. Все кандидаты остаются в объединённом наборе. Если ограничить выдачу одним результатом уже после полного объединения, первым всё равно будет A. Проверка глубины входных списков

Для каждого кандидата около порога сравните учтённую позицию и вклад каждого источника. Кандидат может потерять баллы из одного списка и остаться в наборе благодаря другому.

Проверьте константу ранга и фактические веса

Если входные позиции совпадают, повторите расчёт с константой ранга и весами источников. В примере с тремя списками A дважды занимает первое место. B один раз первый и дважды двенадцатый. При положительной константе меньше 10 лидирует A, при 10 у A и B равные баллы, а выше 10 лидирует B. Сохраните правило для равных баллов, если оно может повлиять на выдачу. Проверка константы ранга

Проверьте, сколько раз учитывался список каждого источника. Если учесть точную копию с полным весом, эффект будет таким же, как при добавлении этого веса к исходному списку. Если разделить исходный вес между копиями, все баллы взвешенной суммы сохранятся. Умножение всех весов на один и тот же положительный коэффициент сохраняет порядок. Проверка с повтором источника

В примере меняются глубина списков и число копий. Полный список поиска по словам A, C, B, D всегда учитывается с весом один. Каждый семантический список берёт первые результаты из B, A, D, C тоже с весом один. Константа ранга равна 60. Второй семантический список, если он есть, полностью повторяет первый. Совместная проверка

Учтённые позиции в каждом семантическом спискеОдин семантический списокДва одинаковых семантических списка
1BB
2AB

При переходе от верхней левой ячейки к нижней правой B остаётся первым, хотя меняются и лимит, и число списков. Если менять по одной настройке, видно, что более длинный список выводит A на первое место, а учёт копии возвращает лидерство B.

Проверьте, каким идентификаторам начисляются баллы

Если поиск находит отрывки, а выдача показывает документы, запишите, к какому документу относится каждый отрывок и когда происходит группировка. В примере в двух источниках лидируют разные отрывки из A. Один и тот же отрывок из B стоит вторым в обоих источниках. Группировка по документам внутри каждого источника до объединения ставит на первое место A. Объединение по отрывкам с последующим выбором отрывка с наибольшим баллом для каждого документа ставит на первое место B. В обеих выдачах одни и те же четыре документа. Проверка группировки отрывков