Výzkum
Jak zopakovat pořadí BM25 po změně indexu
Uložte dokumenty používané k výpočtu statistik BM25, ID dokumentů, které smí vyhledávání vybrat, a ID předávaná mezi jednotlivými kroky řazení. Díky tomu zjistíte, zda se změnila váha slov, skóre v částech indexu nebo samotný výběr. Příklady používají smyšlené dokumenty předem rozdělené na tokeny a rank-bm25 0.2.2. Kód pro výpočet skóre
Ze kterých dokumentů se počítá skóre?
Zopakujte stejný dotaz se stejnými přípustnými ID pro každou kolekci používanou k výpočtu skóre. Uložte verzi indexu nebo kolekce, způsob zpracování dotazu a nastavení výpočtu skóre. V kolekci, která poskytuje statistiky, porovnejte počet dokumentů, jejich průměrnou délku a počet dokumentů, ve kterých se vyskytuje každý výraz z dotazu.
I dokument bez jediného výrazu z dotazu může ovlivnit úpravu skóre podle délky. V jednom příkladu posune přidání takového dokumentu průměrnou délku těsně pod, přesně na nebo těsně nad 18 tokenů. Pod 18 vede A, při 18 má stejné skóre jako B a nad 18 za B zaostává. Při vypnuté úpravě podle délky vede B ve všech případech. Test průměrné délky
Úpravy dokumentů mohou změnit váhu slov i při stejné průměrné délce. V příkladu s devíti dokumenty dvě změny v ostatních dokumentech zvýší počet dokumentů s red ze dvou na čtyři. Počet dokumentů s blue zůstane tři. A odpovídá výrazu red a B výrazu blue. A nejprve vede, po první změně má stejné skóre jako B a po druhé zaostává. Oba kandidáti i průměrná délka čtyř tokenů zůstávají stejní. Test četnosti výrazů
Které dokumenty se počítají v každé části indexu?
Při místním výpočtu skóre uložte, do které části indexu patří kandidáti i ostatní dokumenty. Nové rozložení stejné kolekce může změnit výsledek porovnání skóre z různých částí. V příkladu s 18 dokumenty dvě výměny ostatních dokumentů obrátí místní náskok A ve prospěch B. Jeden společný výpočet pro celou nezměněnou kolekci dává B vyšší skóre ve všech vyzkoušených rozloženích. Test rozdělení indexu
Při opakování distribuovaného vyhledávání ověřte nastavený režim výpočtu skóre. Dokumentace Elasticsearch například popisuje režimy využívající četnosti z aktuální části indexu nebo ze všech částí. Výše uvedená skóre pocházejí z příkladu v Pythonu. Vyhledávací API Elasticsearch
Kteří kandidáti postupují k dalšímu hodnocení?
Porovnejte ID před omezením počtu kandidátů a po něm. Zaznamenejte způsob výpočtu skóre v každém kroku, počet kandidátů postupujících z každé části a pravidlo pro shodná skóre, pokud mohou ovlivnit výběr. U vhodného testovacího dotazu seřaďte všechny přípustné kandidáty. Získáte tak srovnání, které ukáže, kdo by mohl podle pravidla konečného hodnocení vyhrát.
V samostatném příkladu s 18 dokumenty vychází při použití celé kolekce pořadí B, C, A. Tabulka ukazuje vliv prvního výběru na konečné pořadí, když se při závěrečném hodnocení vždy používá celá kolekce. Test prvního výběru
| První výběr | Původní konečné pořadí | Konečné pořadí po dvou výměnách ostatních dokumentů |
|---|---|---|
| Místní BM25, jeden z každé části | C, A | B, C |
| Místní BM25, až dva z každé části | B, C, A | B, C, A |
| BM25 pro celou kolekci, jeden z každé části | B, C | B, C |
V prvním řádku B v původním rozložení vypadne ještě před konečným hodnocením. Zkontrolujte, kdo se hodnotí a jak se jeho skóre počítá. Pokud některý kandidát chybí mezi vstupy do konečného hodnocení, zopakujte první výběr. Pokud jsou vstupy stejné, ale pořadí se liší, porovnejte konečná skóre a pravidla pro jejich shodu.