# インデックスの変更後にBM25の順位を再現する方法

BM25の統計を計算した文書、検索の対象となる文書のID、各段階から次に渡したIDを保存します。これで、検索語の重み、シャードごとのスコア、候補の選び方のどこが変わったかを調べられます。例では、あらかじめトークンに分けた架空の文書と `rank-bm25` 0.2.2 を使います。 [スコア計算のコード](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## どの文書を使ってスコアを計算したか

スコア計算に使う文書集合ごとに、同じクエリを同じ対象IDで実行します。インデックスや文書集合の版、クエリを処理した方法、スコア計算の設定を記録します。統計の対象となる集合について、文書数、文書の平均の長さ、各検索語を含む文書の数を比較します。

検索語を含まない文書を追加した場合でも、文書の長さによるスコア補正は変わります。ある例では、その追加によって平均の長さが18トークンをわずかに下回るか、ちょうど18になるか、わずかに上回ります。18未満ではAが上位、18ではAとBが同点、18を超えるとBが上位になります。長さによる補正を無効にすると、どの場合もBが上位になります。 [平均の長さを変えたテスト](https://sapien1.com/ja/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

平均の長さが同じでも、文書を編集すると検索語の重みが変わることがあります。9件の文書を使った例では、集計用の文書を2回編集すると、`red` を含む文書が2件から4件に増え、`blue` を含む文書は3件のままです。Aは `red` に、Bは `blue` に一致します。最初はAが上位で、1回目の編集後はBと同点になり、2回目の編集後はBを下回ります。2件の候補と、平均4トークンという長さは変わりません。 [検索語を含む文書数を変えたテスト](https://sapien1.com/ja/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## 各シャードの集計に使う文書を確かめる

シャードごとにスコアを出す場合は、候補と集計用の文書がどのシャードに入っていたかを保存します。同じ文書集合でも、振り分けを変えると別々のシャードから得たスコアの比較結果が変わることがあります。18件の文書を使った例では、集計用の文書を2回入れ替えると、シャードごとの計算でAよりBが上位になります。元の文書集合全体を使って一括で計算すると、試したどの振り分けでもBのスコアが上回ります。 [シャードへの振り分けを変えたテスト](https://sapien1.com/ja/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

分散検索を再現する場合は、設定された計算方法を確認します。たとえばElasticsearchの文書では、現在のシャードの出現頻度を使う方法と、全シャードの出現頻度を使う方法が説明されています。上のスコアはPythonの例で計算したものです。 [Elasticsearchの検索API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## どの候補が再ランキングに進むか

候補を絞り込む前後でIDを比較します。各段階のスコア計算方法、各シャードから何件を次に渡すか、同点が選出に影響する場合はその扱いを記録します。すべての対象候補を並べられるテスト用のクエリで順位を出すと、再ランキングの計算方法ではどの候補が首位になり得るかを確認できます。

別の18件の文書を使う例では、文書集合全体を使ってスコアを出すと、候補の順序は B, C, A です。再ランキングで常に文書集合全体に基づくスコアを使う場合に、最初の絞り込みが最終順位にどう影響するかを表に示します。 [最初の絞り込みを変えたテスト](https://sapien1.com/ja/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| 最初の絞り込み | 元の最終順位 | 集計用の文書を2回入れ替えた後の最終順位 |
| --- | --- | --- |
| シャードごとのBM25で各シャードから1件 | C, A | B, C |
| シャードごとのBM25で各シャードから最大2件 | B, C, A | B, C, A |
| 全文書を使ったBM25で各シャードから1件 | B, C | B, C |

表の最初の行では、元の振り分けでBが再ランキングの前に外れます。誰がスコアを受け取ったかと、そのスコアがどう計算されたかをそれぞれ確かめます。再ランキングに候補が進んでいなければ、最初の絞り込みを再現します。候補が同じで順位が異なる場合は、最終スコアと同点の扱いを比較します。
