# Sådan genskaber du en BM25-rangering efter en indeksændring

Gem dokumenterne bag BM25-statistikken, id’erne for de mulige søgeresultater og de id’er, der går videre fra ét trin til det næste. Så kan du finde ændringer i ordvægte, scorer pr. shard eller udvælgelse af kandidater. Eksemplerne bruger opdigtede dokumenter, der på forhånd er delt i tokens, og `rank-bm25` 0.2.2. [Implementering af scoreberegningen](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Tjek, hvilken samling scoren bygger på

Kør samme forespørgsel med de samme mulige id’er for hver samling, der bruges til at beregne scoren. Gem indeks- eller korpusversionen, analysen af forespørgslen og scoreindstillingerne. Sammenlign antal dokumenter, gennemsnitslængden og hvor mange dokumenter der indeholder hvert søgeord i den del, der leverer statistikken.

Et tilføjet dokument uden match på søgeordene kan ændre længdejusteringen. I et eksempel lander gennemsnittet lige under 18 tokens, på 18 eller lige over 18, når sådan et dokument tilføjes. A fører under 18, står lige med B ved 18 og taber over 18. Uden længdejustering fører B hele vejen. [Test af gennemsnitslængde](https://sapien1.com/da/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Redigeringer kan også ændre ordvægtene ved samme gennemsnitslængde. I et eksempel med ni dokumenter øger to ændringer af baggrundsdokumenter antallet med `red` fra to til fire. Antallet med `blue` bliver på tre. A matcher `red`, og B matcher `blue`. A fører først, står lige med B efter den første ændring og er bagud efter den anden. De to kandidater og gennemsnittet på fire tokens er de samme. [Test af dokumentfrekvenser](https://sapien1.com/da/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Se, hvilke dokumenter hver shard henter statistik fra

Hvis scoren beregnes lokalt, så gem hvilken shard både kandidater og baggrundsdokumenter ligger på. Genopbygger du samme korpus med en ny fordeling, kan scorerne fra forskellige shards sammenlignes anderledes. I et eksempel med 18 dokumenter bringer to udvekslinger af baggrundsdokumenter B foran A lokalt. Én beregning over hele den uændrede samling giver B den højeste score i alle de testede fordelinger. [Test af shardfordeling](https://sapien1.com/da/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Når du genskaber en distribueret søgning, så tjek den valgte scoremetode. Elasticsearch dokumenterer for eksempel metoder, der bruger frekvenser fra den aktuelle shard eller alle shards. Tallene ovenfor kommer fra Python-eksemplet. [Elasticsearchs søge-API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Se, hvilke kandidater der når anden rangering

Sammenlign id’er før og efter grænsen for den første udvælgelse. Gem scoremetoden for hvert trin, antallet af resultater pr. shard og reglen for ens scorer, hvis den kan ændre udvælgelsen. Brug en overskuelig testforespørgsel til at rangere alle mulige kandidater med reglen for anden rangering. Så har du en reference for, hvilke kandidater der kan ende øverst.

I et andet eksempel med 18 dokumenter giver scorer for hele samlingen rækkefølgen B, C, A blandt de mulige kandidater. Tabellen viser, hvordan første udvælgelse påvirker den endelige rækkefølge, når anden rangering altid bruger scorer for hele samlingen. [Test af første udvælgelse](https://sapien1.com/da/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Første udvælgelse | Oprindelig slutrækkefølge | Slutrækkefølge efter to udvekslinger af baggrundsdokumenter |
| --- | --- | --- |
| Lokal BM25, én pr. shard | C, A | B, C |
| Lokal BM25, op til to pr. shard | B, C, A | B, C, A |
| BM25 for hele samlingen, én pr. shard | B, C | B, C |

I første række falder B fra før anden rangering i den oprindelige fordeling. Sammenligningen viser, om det er kandidaterne eller beregningen for finalisterne, der ændrer sig. Hvis en kandidat mangler ved anden rangering, så gentag første udvælgelse. Hvis kandidaterne er ens, men rækkefølgen ændrer sig, sammenlign scorerne og reglen ved lige scorer.
