Gå til hovedindholdet

Menu

Forskning

Sådan genskaber du en BM25-rangering efter en indeksændring

Sprog: Dansk

Gem dokumenterne bag BM25-statistikken, id’erne for de mulige søgeresultater og de id’er, der går videre fra ét trin til det næste. Så kan du finde ændringer i ordvægte, scorer pr. shard eller udvælgelse af kandidater. Eksemplerne bruger opdigtede dokumenter, der på forhånd er delt i tokens, og rank-bm25 0.2.2. Implementering af scoreberegningen

Tjek, hvilken samling scoren bygger på

Kør samme forespørgsel med de samme mulige id’er for hver samling, der bruges til at beregne scoren. Gem indeks- eller korpusversionen, analysen af forespørgslen og scoreindstillingerne. Sammenlign antal dokumenter, gennemsnitslængden og hvor mange dokumenter der indeholder hvert søgeord i den del, der leverer statistikken.

Et tilføjet dokument uden match på søgeordene kan ændre længdejusteringen. I et eksempel lander gennemsnittet lige under 18 tokens, på 18 eller lige over 18, når sådan et dokument tilføjes. A fører under 18, står lige med B ved 18 og taber over 18. Uden længdejustering fører B hele vejen. Test af gennemsnitslængde

Redigeringer kan også ændre ordvægtene ved samme gennemsnitslængde. I et eksempel med ni dokumenter øger to ændringer af baggrundsdokumenter antallet med red fra to til fire. Antallet med blue bliver på tre. A matcher red, og B matcher blue. A fører først, står lige med B efter den første ændring og er bagud efter den anden. De to kandidater og gennemsnittet på fire tokens er de samme. Test af dokumentfrekvenser

Se, hvilke dokumenter hver shard henter statistik fra

Hvis scoren beregnes lokalt, så gem hvilken shard både kandidater og baggrundsdokumenter ligger på. Genopbygger du samme korpus med en ny fordeling, kan scorerne fra forskellige shards sammenlignes anderledes. I et eksempel med 18 dokumenter bringer to udvekslinger af baggrundsdokumenter B foran A lokalt. Én beregning over hele den uændrede samling giver B den højeste score i alle de testede fordelinger. Test af shardfordeling

Når du genskaber en distribueret søgning, så tjek den valgte scoremetode. Elasticsearch dokumenterer for eksempel metoder, der bruger frekvenser fra den aktuelle shard eller alle shards. Tallene ovenfor kommer fra Python-eksemplet. Elasticsearchs søge-API

Se, hvilke kandidater der når anden rangering

Sammenlign id’er før og efter grænsen for den første udvælgelse. Gem scoremetoden for hvert trin, antallet af resultater pr. shard og reglen for ens scorer, hvis den kan ændre udvælgelsen. Brug en overskuelig testforespørgsel til at rangere alle mulige kandidater med reglen for anden rangering. Så har du en reference for, hvilke kandidater der kan ende øverst.

I et andet eksempel med 18 dokumenter giver scorer for hele samlingen rækkefølgen B, C, A blandt de mulige kandidater. Tabellen viser, hvordan første udvælgelse påvirker den endelige rækkefølge, når anden rangering altid bruger scorer for hele samlingen. Test af første udvælgelse

Første udvælgelseOprindelig slutrækkefølgeSlutrækkefølge efter to udvekslinger af baggrundsdokumenter
Lokal BM25, én pr. shardC, AB, C
Lokal BM25, op til to pr. shardB, C, AB, C, A
BM25 for hele samlingen, én pr. shardB, CB, C

I første række falder B fra før anden rangering i den oprindelige fordeling. Sammenligningen viser, om det er kandidaterne eller beregningen for finalisterne, der ændrer sig. Hvis en kandidat mangler ved anden rangering, så gentag første udvælgelse. Hvis kandidaterne er ens, men rækkefølgen ændrer sig, sammenlign scorerne og reglen ved lige scorer.