Příklady, jak zopakovat pořadí BM25

Příklady používají smyšlené dokumenty a dotazy. Ukazují, jak mohou stejní kandidáti dostat jiné skóre, když se změní kolekce používaná k výpočtu. Ukazují také, jak může kandidát vypadnout už při prvním výběru. Výpočty používají konkrétní odkazovanou verzi rank-bm25.

Stáhnout pět skriptů a uložené výsledky (ZIP). Soubor README vysvětluje, jak nainstalovat určené verze balíčků pro Python a porovnat výsledky.

Jak se změnila průměrná délka dokumentů?

I přidání dokumentu bez jediného výrazu z dotazu může změnit průměrnou délku používanou k výpočtu skóre. V příkladu vede A pod průměrem 18 tokenů, při 18 má stejné skóre jako B a nad 18 zaostává. V kontrolním výpočtu s vypnutou úpravou podle délky vede vždy B.

Které dokumenty změnily váhu výrazů?

V kolekci devíti smyšlených dokumentů odpovídá A výrazu red a B výrazu blue. Dvě změny v ostatních dokumentech zvýší počet dokumentů s red ze dvou na čtyři. Počet s blue zůstane tři. A nejprve vede, po první změně má stejné skóre jako B a po druhé zaostává. Kandidáti i průměrná délka čtyř tokenů zůstávají stejní.

Které dokumenty se počítají v každé části indexu?

V tomto příkladu s 18 dokumenty dvě výměny ostatních dokumentů mezi částmi obrátí pořadí A a B, pokud každá část používá při výpočtu vlastní statistiky. Při společném výpočtu pro celou nezměněnou kolekci má B vyšší skóre ve všech vyzkoušených rozloženích. Vyhledávací API Elasticsearch popisuje, které části mohou sloužit jako zdroj statistiky výrazů. Zde uvedená skóre pocházejí z příkladu v Pythonu.

Které dokumenty postoupily k dalšímu hodnocení?

V jiném příkladu s 18 dokumenty dává výpočet pro všechny přípustné kandidáty pořadí B, C, A. Závěrečné hodnocení používá stejná skóre z celé kolekce. První výběr určuje, kteří kandidáti se do závěrečného hodnocení dostanou.

První výběr a výsledky závěrečného hodnocení
První výběrPůvodní konečné pořadíKonečné pořadí po dvou výměnách ostatních dokumentů
Místní BM25, jeden z každé částiC, AB, C
Místní BM25, až dva z každé částiB, C, AB, C, A
BM25 pro celou kolekci, jeden z každé částiB, CB, C