Příklady, jak zopakovat pořadí BM25
Příklady používají smyšlené dokumenty a dotazy. Ukazují, jak mohou stejní kandidáti dostat jiné skóre, když se změní kolekce používaná k výpočtu. Ukazují také, jak může kandidát vypadnout už při prvním výběru. Výpočty používají konkrétní odkazovanou verzi rank-bm25.
Stáhnout pět skriptů a uložené výsledky (ZIP). Soubor README vysvětluje, jak nainstalovat určené verze balíčků pro Python a porovnat výsledky.
Jak se změnila průměrná délka dokumentů?
I přidání dokumentu bez jediného výrazu z dotazu může změnit průměrnou délku používanou k výpočtu skóre. V příkladu vede A pod průměrem 18 tokenů, při 18 má stejné skóre jako B a nad 18 zaostává. V kontrolním výpočtu s vypnutou úpravou podle délky vede vždy B.
Které dokumenty změnily váhu výrazů?
V kolekci devíti smyšlených dokumentů odpovídá A výrazu red a B výrazu blue. Dvě změny v ostatních dokumentech zvýší počet dokumentů s red ze dvou na čtyři. Počet s blue zůstane tři. A nejprve vede, po první změně má stejné skóre jako B a po druhé zaostává. Kandidáti i průměrná délka čtyř tokenů zůstávají stejní.
Které dokumenty se počítají v každé části indexu?
V tomto příkladu s 18 dokumenty dvě výměny ostatních dokumentů mezi částmi obrátí pořadí A a B, pokud každá část používá při výpočtu vlastní statistiky. Při společném výpočtu pro celou nezměněnou kolekci má B vyšší skóre ve všech vyzkoušených rozloženích. Vyhledávací API Elasticsearch popisuje, které části mohou sloužit jako zdroj statistiky výrazů. Zde uvedená skóre pocházejí z příkladu v Pythonu.
Které dokumenty postoupily k dalšímu hodnocení?
V jiném příkladu s 18 dokumenty dává výpočet pro všechny přípustné kandidáty pořadí B, C, A. Závěrečné hodnocení používá stejná skóre z celé kolekce. První výběr určuje, kteří kandidáti se do závěrečného hodnocení dostanou.
První výběr a výsledky závěrečného hodnocení
| První výběr | Původní konečné pořadí | Konečné pořadí po dvou výměnách ostatních dokumentů |
| Místní BM25, jeden z každé části | C, A | B, C |
| Místní BM25, až dva z každé části | B, C, A | B, C, A |
| BM25 pro celou kolekci, jeden z každé části | B, C | B, C |