Exempel som visar hur du återskapar en BM25-rangordning
Exemplen använder påhittade dokument och sökfrågor. De visar hur samma kandidater kan få olika poäng när samlingen bakom beräkningen ändras och hur en kandidat kan försvinna redan i första urvalet. Beräkningarna använder den angivna versionen av rank-bm25.
Ladda ner de fem testskripten och de sparade resultaten (ZIP). README-filen förklarar hur du installerar de angivna versionerna av Python-paketen och jämför resultaten.
Hur ändrades dokumentens genomsnittliga längd?
Även ett nytt dokument utan något av sökorden kan ändra medellängden som används för att räkna ut poängen. I exemplet leder A under ett genomsnitt på 18 token, får samma poäng som B vid 18 och hamnar efter över 18. I kontrolltestet med längdjusteringen avstängd leder B hela tiden.
Vilka dokument ändrade sökordens vikt?
I en samling med nio påhittade dokument matchar A red och B blue. Två ändringar i andra dokument ökar antalet dokument med red från två till fyra. Antalet med blue ligger kvar på tre. A leder först, får samma poäng som B efter den första ändringen och hamnar efter den andra. Kandidaterna och medellängden på fyra token är desamma.
Vilka dokument räknas i varje indexdel?
I det här exemplet med 18 dokument byter A och B plats när två byten av andra dokument görs mellan indexdelarna och varje del använder sin egen statistik. När hela den oförändrade samlingen används i samma beräkning får B högst poäng i varje testad indelning. Elasticsearch sök-API beskriver var statistiken för sökorden kan hämtas. Poängen här kommer från Python-exemplet.
Vilka dokument poängsätts på nytt?
I ett annat exempel med 18 dokument ger en beräkning för alla möjliga kandidater ordningen B, C, A. Den sista rangordningen använder samma poäng från hela samlingen. Det första urvalet avgör vilka kandidater som går vidare.
Första urvalet och resultat efter ny rangordning
| Första urvalet | Ursprunglig slutordning | Slutordning efter två byten av bakgrundsdokument |
| Lokal BM25, en per indexdel | C, A | B, C |
| Lokal BM25, högst två per indexdel | B, C, A | B, C, A |
| BM25 för hela samlingen, en per indexdel | B, C | B, C |