Eksempler på at genskabe en BM25-rangering

Eksemplerne bruger opdigtede dokumenter og søgeforespørgsler. De viser, hvordan de samme kandidater kan få forskellige scorer, når samlingen bag beregningen ændrer sig. De viser også, hvordan en kandidat kan falde fra allerede ved første udvælgelse. Beregningerne bruger den fastlagte version af rank-bm25.

Download de fem scripts og de gemte resultater (ZIP). README-filen forklarer, hvordan du installerer de angivne Python-pakkeversioner og sammenligner resultaterne.

Hvordan ændrede dokumenternes gennemsnitslængde sig?

Selv et ekstra dokument uden nogen af søgeordene kan ændre den gennemsnitslængde, der indgår i scoren. I eksemplet fører A ved et gennemsnit under 18 tokens, står lige med B ved 18 og er bagud over 18. I kontroltesten med længdejustering slået fra fører B hele vejen.

Hvilke dokumenter ændrede søgeordenes vægt?

I en samling med ni opdigtede dokumenter matcher A red, og B matcher blue. To ændringer i andre dokumenter øger antallet af dokumenter med red fra to til fire. Antallet med blue forbliver tre. A fører først, står lige med B efter den første ændring og er bagud efter den anden. Kandidaterne og gennemsnittet på fire tokens er de samme.

Hvilke dokumenter tæller med i hver shard?

I dette eksempel med 18 dokumenter vender to udvekslinger af andre dokumenter mellem shards rækkefølgen af A og B, når hver shard bruger sin egen statistik til at beregne scorerne. Én beregning for hele den uændrede samling giver B den højeste score i alle de testede fordelinger. Elasticsearchs søge-API beskriver, hvor statistikken for søgeord kan komme fra. Scorerne her kommer fra Python-eksemplet.

Hvilke dokumenter når anden rangering?

I et andet eksempel med 18 dokumenter giver beregning for alle mulige kandidater rækkefølgen B, C, A. Anden rangering bruger de samme scorer, der er beregnet for hele samlingen. Første udvælgelse afgør, hvilke kandidater der når dertil.

Første udvælgelse og resultater efter anden rangering
Første udvælgelseOprindelig slutrækkefølgeSlutrækkefølge efter to udvekslinger af baggrundsdokumenter
Lokal BM25, én pr. shardC, AB, C
Lokal BM25, op til to pr. shardB, C, AB, C, A
BM25 for hele samlingen, én pr. shardB, CB, C