Forskning
Slik gjenskaper du en BM25-rangering etter en indeksendring
Lagre dokumentene som brukes til å beregne BM25-statistikken, ID-ene som kan dukke opp i søket og ID-ene som sendes mellom trinnene. Da kan du finne endringer i ordvekter, poeng per shard eller hvilke kandidater som velges. Eksemplene bruker oppdiktede dokumenter som er delt opp i tokener på forhånd, og rank-bm25 0.2.2. Implementering av poengberegningen
Sjekk hvilken samling poengene bygger på
Kjør samme søk med de samme aktuelle ID-ene for hver samling som brukes i beregningen. Lagre indeks- eller korpusversjonen, analysen av søket og innstillingene for poengberegningen. Sammenlign størrelsen, gjennomsnittlig dokumentlengde og antall dokumenter som inneholder hvert søkeord i samlingen som leverer statistikken.
Et nytt dokument som ikke matcher søket, kan likevel endre lengdejusteringen. I et eksempel fører et slikt tillegg gjennomsnittet like under 18 tokener, til 18 eller like over 18. A leder under 18, står likt med B ved 18 og taper over 18. Slår du av lengdejusteringen, leder B hele veien. Test av gjennomsnittslengde
Endringer kan også påvirke ordvektene uten å endre gjennomsnittslengden. I et eksempel med ni dokumenter øker to endringer i bakgrunnsdokumentene antallet med red fra to til fire. Antallet med blue forblir tre. A matcher red og B matcher blue. A leder først, står likt med B etter første endring og havner bak etter den andre. Begge kandidatene og gjennomsnittet på fire tokener er de samme. Test av dokumentfrekvenser
Sjekk hvilke dokumenter som bidrar til shardstatistikken
Hvis poengene beregnes lokalt, lagre hvilken shard både kandidatene og bakgrunnsdokumentene ligger på. Hvis samme korpus får en annen fordeling når indeksen bygges på nytt, kan det endre sammenligningen av poeng fra ulike shards. I et eksempel med 18 dokumenter gjør to bytter av bakgrunnsdokumenter at B går forbi A lokalt. Én beregning for hele den uendrede samlingen gir B høyere poeng i alle fordelingene vi testet. Test av shardfordeling
Sjekk poengmodusen når du gjenskaper et distribuert søk. Elasticsearch beskriver for eksempel moduser som bruker frekvenser fra den aktuelle sharden eller fra alle shards. Poengene ovenfor kommer fra Python-eksemplet. Elasticsearchs søke-API
Sjekk hvilke kandidater som går videre til ny rangering
Sammenlign ID-ene før og etter kuttet i det første utvalget. Noter poengmetoden for hvert trinn, antall resultater per shard og regelen ved like poeng hvis den kan endre utvalget. For et håndterlig testsøk kan du rangere alle aktuelle kandidater etter regelen for ny rangering. Da ser du hvem som kan komme øverst.
I et annet eksempel med 18 dokumenter gir poeng fra hele samlingen rekkefølgen B, C, A for de aktuelle kandidatene. Tabellen viser hvordan første utvalg påvirker sluttrekkefølgen når ny rangering alltid bruker poeng fra hele samlingen. Test av første utvalg
| Første utvalg | Opprinnelig sluttrekkefølge | Sluttrekkefølge etter to bytter av bakgrunnsdokumenter |
|---|---|---|
| Lokal BM25, ett resultat per shard | C, A | B, C |
| Lokal BM25, opptil to per shard | B, C, A | B, C, A |
| BM25 for hele samlingen, ett per shard | B, C | B, C |
På første rad faller B ut før ny rangering i den opprinnelige fordelingen. Sammenligningen skiller en endring i hvem som får poeng fra en endring i hvordan finalistene får poeng. Hvis en kandidat mangler før ny rangering, gjenta det første utvalget. Hvis kandidatene er de samme og rekkefølgen endres, sammenlign poengene fra den nye rangeringen og regelen ved poenglikhet.