# Så återskapar du en BM25-rangordning efter en indexändring

Spara dokumenten som används för att beräkna BM25-statistiken, ID:n för alla dokument som kan väljas och ID:n som skickas vidare mellan stegen. Då kan du se om ändringen gäller ordens vikter, poängen i olika indexdelar eller urvalet. Exemplen använder påhittade dokument som redan har delats upp i token och `rank-bm25` 0.2.2. [Koden som räknar poängen](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Vilka dokument ligger bakom poängen?

Kör om samma sökfråga med samma möjliga ID:n för varje dokumentsamling som används vid poängsättningen. Spara versionen av indexet eller dokumenten, hur frågan analyserades och inställningarna för poängberäkningen. Jämför antalet dokument, deras genomsnittliga längd och hur många dokument som innehåller vart och ett av sökorden i den samling som ger statistiken.

Ett dokument som saknar alla sökord kan ändå ändra hur poängen justeras för längd. I ett exempel hamnar medellängden strax under, precis på eller strax över 18 token när ett sådant dokument läggs till. A leder under 18, får samma poäng som B vid 18 och hamnar efter över 18. Utan längdjustering leder B i alla fallen. [Test av medellängd](https://sapien1.com/sv/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Även om medellängden är densamma kan ändringar i dokumenten påverka hur tungt orden väger. I ett exempel med nio dokument gör två ändringar i bakgrundsdokumenten att antalet dokument med `red` stiger från två till fyra. Antalet med `blue` ligger kvar på tre. A matchar `red` och B matchar `blue`. A leder först, får samma poäng som B efter den första ändringen och hamnar efter den andra. Båda kandidaterna och medellängden på fyra token är desamma hela tiden. [Test av ordfrekvens](https://sapien1.com/sv/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Vilka dokument räknas i varje indexdel?

När poängen beräknas lokalt behöver du spara vilken indexdel varje kandidat och bakgrundsdokument ligger i. Om samma dokument fördelas annorlunda kan poängen från olika delar bli svåra att jämföra på samma sätt. I ett exempel med 18 dokument ger två byten av bakgrundsdokument B ett lokalt försprång som A hade tidigare. När en gemensam beräkning använder hela den oförändrade samlingen får B högre poäng i alla testade indelningar. [Test av indexets indelning](https://sapien1.com/sv/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Kontrollera det inställda poängläget när du kör om en distribuerad sökning. Elasticsearch beskriver till exempel lägen som använder ordfrekvenser från den aktuella indexdelen eller från alla delar. Poängen ovan kommer från Python-exemplet. [Elasticsearch sök-API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Vilka kandidater poängsätts på nytt?

Jämför ID:n före och efter gränsen för vilka kandidater som går vidare. Anteckna hur poängen räknas i varje steg, hur många som kan gå vidare från varje del och hur lika poäng hanteras om det påverkar urvalet. Välj en testfråga där alla möjliga kandidater kan rangordnas. Då ser du vilka som skulle kunna vinna med den sista poängregeln.

I ett annat exempel med 18 dokument ger poängen för hela samlingen ordningen B, C, A. Tabellen visar hur det första urvalet påverkar slutordningen när de återstående kandidaterna alltid poängsätts med statistik från hela samlingen. [Test av första urvalet](https://sapien1.com/sv/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Första urvalet | Ursprunglig slutordning | Slutordning efter två byten av bakgrundsdokument |
| --- | --- | --- |
| Lokal BM25, en per indexdel | C, A | B, C |
| Lokal BM25, högst två per indexdel | B, C, A | B, C, A |
| BM25 för hela samlingen, en per indexdel | B, C | B, C |

På första raden försvinner B före den nya rangordningen i den ursprungliga indelningen. Jämför först vilka kandidater som får en ny poäng och sedan hur den poängen räknas. Kör om första urvalet om en kandidat saknas. Om samma kandidater går vidare men ordningen skiljer sig, jämför slutpoängen och hur lika poäng hanteras.
