Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak zopakovat pořadí BM25 po změně indexu

Jazyk: Čeština

Uložte dokumenty používané k výpočtu statistik BM25, ID dokumentů, které smí vyhledávání vybrat, a ID předávaná mezi jednotlivými kroky řazení. Díky tomu zjistíte, zda se změnila váha slov, skóre v částech indexu nebo samotný výběr. Příklady používají smyšlené dokumenty předem rozdělené na tokeny a rank-bm25 0.2.2. Kód pro výpočet skóre

Ze kterých dokumentů se počítá skóre?

Zopakujte stejný dotaz se stejnými přípustnými ID pro každou kolekci používanou k výpočtu skóre. Uložte verzi indexu nebo kolekce, způsob zpracování dotazu a nastavení výpočtu skóre. V kolekci, která poskytuje statistiky, porovnejte počet dokumentů, jejich průměrnou délku a počet dokumentů, ve kterých se vyskytuje každý výraz z dotazu.

I dokument bez jediného výrazu z dotazu může ovlivnit úpravu skóre podle délky. V jednom příkladu posune přidání takového dokumentu průměrnou délku těsně pod, přesně na nebo těsně nad 18 tokenů. Pod 18 vede A, při 18 má stejné skóre jako B a nad 18 za B zaostává. Při vypnuté úpravě podle délky vede B ve všech případech. Test průměrné délky

Úpravy dokumentů mohou změnit váhu slov i při stejné průměrné délce. V příkladu s devíti dokumenty dvě změny v ostatních dokumentech zvýší počet dokumentů s red ze dvou na čtyři. Počet dokumentů s blue zůstane tři. A odpovídá výrazu red a B výrazu blue. A nejprve vede, po první změně má stejné skóre jako B a po druhé zaostává. Oba kandidáti i průměrná délka čtyř tokenů zůstávají stejní. Test četnosti výrazů

Které dokumenty se počítají v každé části indexu?

Při místním výpočtu skóre uložte, do které části indexu patří kandidáti i ostatní dokumenty. Nové rozložení stejné kolekce může změnit výsledek porovnání skóre z různých částí. V příkladu s 18 dokumenty dvě výměny ostatních dokumentů obrátí místní náskok A ve prospěch B. Jeden společný výpočet pro celou nezměněnou kolekci dává B vyšší skóre ve všech vyzkoušených rozloženích. Test rozdělení indexu

Při opakování distribuovaného vyhledávání ověřte nastavený režim výpočtu skóre. Dokumentace Elasticsearch například popisuje režimy využívající četnosti z aktuální části indexu nebo ze všech částí. Výše uvedená skóre pocházejí z příkladu v Pythonu. Vyhledávací API Elasticsearch

Kteří kandidáti postupují k dalšímu hodnocení?

Porovnejte ID před omezením počtu kandidátů a po něm. Zaznamenejte způsob výpočtu skóre v každém kroku, počet kandidátů postupujících z každé části a pravidlo pro shodná skóre, pokud mohou ovlivnit výběr. U vhodného testovacího dotazu seřaďte všechny přípustné kandidáty. Získáte tak srovnání, které ukáže, kdo by mohl podle pravidla konečného hodnocení vyhrát.

V samostatném příkladu s 18 dokumenty vychází při použití celé kolekce pořadí B, C, A. Tabulka ukazuje vliv prvního výběru na konečné pořadí, když se při závěrečném hodnocení vždy používá celá kolekce. Test prvního výběru

První výběrPůvodní konečné pořadíKonečné pořadí po dvou výměnách ostatních dokumentů
Místní BM25, jeden z každé částiC, AB, C
Místní BM25, až dva z každé částiB, C, AB, C, A
BM25 pro celou kolekci, jeden z každé částiB, CB, C

V prvním řádku B v původním rozložení vypadne ještě před konečným hodnocením. Zkontrolujte, kdo se hodnotí a jak se jeho skóre počítá. Pokud některý kandidát chybí mezi vstupy do konečného hodnocení, zopakujte první výběr. Pokud jsou vstupy stejné, ale pořadí se liší, porovnejte konečná skóre a pravidla pro jejich shodu.