ハイブリッド検索の順位を再現する具体例

逆順位融合(RRF)は、順位付きの検索結果を組み合わせる方法です。各項目が含まれるリストごとに、その項目への加点を合計します。ここでは架空の順位と正確な計算を使います。RRFの原論文

5件の再現用データと保存済みの結果をダウンロード(ZIP)。ファイルを展開し、READMEに従ってPython 3で実行してください。

各検索から何件の結果を使いましたか?

1つの検索から使う結果を1件から2件に増やすと、Aへの加点が増え、AはBを上回ります。すべての項目は統合後のリストに残ります。融合をすべて終えた後で出力を1件に絞っても、結果はAです。入力件数の上限は加点に影響し、出力件数の上限は読者に表示される結果を決めます。

順位定数を変えると何が変わりますか?

Aは1位が2回あります。Bは1位が1回、12位が2回あります。定数が正の値で10未満の場合はAがリードし、10のときはBと同点になり、10を超えるとBを下回ります。結果を再現する際は、同じ同点時の順位決定ルールを使用してください。

検索リストが2回加算されましたか?

重み付き合計では、リストの完全なコピーを別途その全重みで加えると、元のリストの重みにコピーの重みを加えた場合と同じ効果があります。元の重みを2つのリストに分ければ、各項目のスコアは変わりません。すべての重みに同じ正の数を掛けても、順位は変わりません。

両方の設定を変えるとどうなりますか?

単語ベースのリストはA、C、B、Dの順です。意味ベースのリストはB、A、D、Cの順です。対象に含める各リストの重みは1で、順位定数は60です。深さ1では、意味ベースのリストを1回数えても2回数えてもBが勝ちます。深さ2では、そのリストを1回数えるとAが勝ち、2回数えるとBが勝ちます。最初と最後の設定だけを比較すると、どちらもBが勝っているように見えます。何が違いを生んだのかを確認するには、変更を1つずつ加えて再現してください。

文章の断片はいつ文書にまとめられますか?

2つの検索リストでは、どちらも文書Aの異なる断片が1位になっています。文書Bの同じ断片は、どちらも2位です。リストを融合する前に断片を文書ごとにまとめると、Aが1位になります。断片ごとに融合し、各文書の最もスコアの高い断片に基づいて文書を順位付けすると、Bが1位になります。どちらの出力にも同じ4つの文書が含まれます。