# Jak zopakovat pořadí BM25 po změně indexu

Uložte dokumenty používané k výpočtu statistik BM25, ID dokumentů, které smí vyhledávání vybrat, a ID předávaná mezi jednotlivými kroky řazení. Díky tomu zjistíte, zda se změnila váha slov, skóre v částech indexu nebo samotný výběr. Příklady používají smyšlené dokumenty předem rozdělené na tokeny a `rank-bm25` 0.2.2. [Kód pro výpočet skóre](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Ze kterých dokumentů se počítá skóre?

Zopakujte stejný dotaz se stejnými přípustnými ID pro každou kolekci používanou k výpočtu skóre. Uložte verzi indexu nebo kolekce, způsob zpracování dotazu a nastavení výpočtu skóre. V kolekci, která poskytuje statistiky, porovnejte počet dokumentů, jejich průměrnou délku a počet dokumentů, ve kterých se vyskytuje každý výraz z dotazu.

I dokument bez jediného výrazu z dotazu může ovlivnit úpravu skóre podle délky. V jednom příkladu posune přidání takového dokumentu průměrnou délku těsně pod, přesně na nebo těsně nad 18 tokenů. Pod 18 vede A, při 18 má stejné skóre jako B a nad 18 za B zaostává. Při vypnuté úpravě podle délky vede B ve všech případech. [Test průměrné délky](https://sapien1.com/cs/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Úpravy dokumentů mohou změnit váhu slov i při stejné průměrné délce. V příkladu s devíti dokumenty dvě změny v ostatních dokumentech zvýší počet dokumentů s `red` ze dvou na čtyři. Počet dokumentů s `blue` zůstane tři. A odpovídá výrazu `red` a B výrazu `blue`. A nejprve vede, po první změně má stejné skóre jako B a po druhé zaostává. Oba kandidáti i průměrná délka čtyř tokenů zůstávají stejní. [Test četnosti výrazů](https://sapien1.com/cs/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Které dokumenty se počítají v každé části indexu?

Při místním výpočtu skóre uložte, do které části indexu patří kandidáti i ostatní dokumenty. Nové rozložení stejné kolekce může změnit výsledek porovnání skóre z různých částí. V příkladu s 18 dokumenty dvě výměny ostatních dokumentů obrátí místní náskok A ve prospěch B. Jeden společný výpočet pro celou nezměněnou kolekci dává B vyšší skóre ve všech vyzkoušených rozloženích. [Test rozdělení indexu](https://sapien1.com/cs/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Při opakování distribuovaného vyhledávání ověřte nastavený režim výpočtu skóre. Dokumentace Elasticsearch například popisuje režimy využívající četnosti z aktuální části indexu nebo ze všech částí. Výše uvedená skóre pocházejí z příkladu v Pythonu. [Vyhledávací API Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Kteří kandidáti postupují k dalšímu hodnocení?

Porovnejte ID před omezením počtu kandidátů a po něm. Zaznamenejte způsob výpočtu skóre v každém kroku, počet kandidátů postupujících z každé části a pravidlo pro shodná skóre, pokud mohou ovlivnit výběr. U vhodného testovacího dotazu seřaďte všechny přípustné kandidáty. Získáte tak srovnání, které ukáže, kdo by mohl podle pravidla konečného hodnocení vyhrát.

V samostatném příkladu s 18 dokumenty vychází při použití celé kolekce pořadí B, C, A. Tabulka ukazuje vliv prvního výběru na konečné pořadí, když se při závěrečném hodnocení vždy používá celá kolekce. [Test prvního výběru](https://sapien1.com/cs/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| První výběr | Původní konečné pořadí | Konečné pořadí po dvou výměnách ostatních dokumentů |
| --- | --- | --- |
| Místní BM25, jeden z každé části | C, A | B, C |
| Místní BM25, až dva z každé části | B, C, A | B, C, A |
| BM25 pro celou kolekci, jeden z každé části | B, C | B, C |

V prvním řádku B v původním rozložení vypadne ještě před konečným hodnocením. Zkontrolujte, kdo se hodnotí a jak se jeho skóre počítá. Pokud některý kandidát chybí mezi vstupy do konečného hodnocení, zopakujte první výběr. Pokud jsou vstupy stejné, ale pořadí se liší, porovnejte konečná skóre a pravidla pro jejich shodu.
