BM25の順位を再現する例

架空の文書と検索クエリを使い、スコア計算の対象となる文書集合を変えると同じ候補のスコアがどう変わるか、最初の絞り込みで候補が再ランキングに進めなくなることがあるのはなぜかを確かめます。計算には指定バージョンのrank-bm25を使いました。

5本のスクリプトと保存済みの結果をダウンロード(ZIP)。READMEでは、指定されたバージョンのPythonパッケージをインストールし、実行結果を比較する方法を説明しています。

文書の平均の長さはどう変わったか

検索語を一つも含まない文書を追加しても、スコア計算に使う平均の長さが変わることがあります。この例では、平均が18トークン未満ならAが上位、18ならAとBが同点、18を超えるとAが下位です。長さによる補正を無効にした比較用の計算では、どの場合もBが上位になります。

どの文書を変えると検索語の重みが変わったか

架空の文書9件のうち、Aは red に、Bは blue に一致します。他の文書を2回編集すると、red を含む文書は2件から4件に増えます。blue を含む文書は3件のままです。最初はAが上位で、1回目の編集後はBと同点になり、2回目の編集後はBを下回ります。候補と平均4トークンという長さは変わりません。

各シャードの集計にどの文書を使ったか

18件の文書を使った例です。シャードごとに独自の統計でスコアを計算すると、他の文書をシャード間で2回入れ替えた結果、AとBの順位が逆転します。変えていない文書集合全体を使って一括で計算すると、試したどの振り分けでもBが上位になります。Elasticsearchの検索API には、検索語の統計を取る範囲の違いが説明されています。ここで示したスコアはPythonの例で計算したものです。

どの文書が再ランキングに進んだか

別の18件の文書を使った例で、対象となる候補すべてのスコアを計算すると、順序は B, C, A になります。再ランキングでも文書集合全体を使って算出した同じスコアを使います。最初の絞り込み方によって、再ランキングに進む候補が決まります。

最初の絞り込みと再ランキングの結果
最初の絞り込み元の最終順位集計用の文書を2回入れ替えた後の最終順位
シャードごとのBM25で各シャードから1件C, AB, C
シャードごとのBM25で各シャードから最大2件B, C, AB, C, A
全文書を使ったBM25で各シャードから1件B, CB, C