# Zo reproduceer je een BM25-rangschikking na een indexwijziging

Bewaar de documenten die de statistieken voor BM25 leveren, de ID’s die voor zoekresultaten in aanmerking komen en de ID’s die tussen rangschikkingsstappen worden doorgegeven. Daarmee spoor je veranderingen op in termgewichten, scores per shard of de selectie van kandidaten. De voorbeelden gebruiken fictieve, vooraf in tokens verdeelde documenten en `rank-bm25` 0.2.2. [Implementatie van de scoreberekening](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Controleer welke collectie de score bepaalt

Gebruik voor elke scorecollectie dezelfde zoekopdracht en dezelfde kandidaat-ID’s. Bewaar de versie van de index of het corpus, de verwerking van de zoekopdracht en de score-instellingen. Vergelijk de omvang van de collectie, de gemiddelde documentlengte en hoeveel documenten elke zoekterm bevatten in het bereik dat de statistieken levert.

Een document toevoegen dat op geen enkele zoekterm aansluit, kan de lengtecorrectie veranderen. In een voorbeeld brengt zo’n toevoeging het gemiddelde net onder 18 tokens, op 18 of net boven 18. Onder 18 staat A voor. Bij 18 staat A gelijk met B en boven 18 blijft A achter. Als de lengtecorrectie uitstaat, blijft B steeds bovenaan. [Proef met gemiddelde lengte](https://sapien1.com/nl/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Bewerkingen kunnen ook de termgewichten veranderen terwijl de gemiddelde lengte gelijk blijft. In een voorbeeld met negen documenten stijgt het aantal documenten met `red` door twee wijzigingen in achtergronddocumenten van twee naar vier. Het aantal met `blue` blijft drie. A komt overeen met `red` en B met `blue`. A leidt eerst, speelt gelijk met B na de eerste wijziging en ligt achter na de tweede. Beide kandidaten en het gemiddelde van vier tokens blijven gelijk. [Proef met documentfrequenties](https://sapien1.com/nl/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Controleer welke documenten de shardstatistieken leveren

Leg voor een lokale scorer vast op welke shard elke kandidaat en elk achtergronddocument staat. Als je hetzelfde corpus bij een herbouw anders verdeelt, kan de vergelijking van scores uit verschillende shards veranderen. In een voorbeeld met 18 documenten laten twee uitwisselingen van achtergronddocumenten B lokaal voor A eindigen. Eén scorer op de hele, ongewijzigde collectie geeft B in elke geteste indeling de hogere score. [Proef met shardindeling](https://sapien1.com/nl/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Controleer bij het herhalen van een gedistribueerde zoekopdracht welke scoremethode is ingesteld. Elasticsearch beschrijft bijvoorbeeld methoden die de frequenties van de huidige shard of van alle shards gebruiken. De bovenstaande scores komen uit het Python-voorbeeld. [Elasticsearch-zoek-API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Controleer welke kandidaten de tweede rangschikking halen

Vergelijk de ID’s vóór en na het afkappen van de eerste selectie. Noteer de scoremethode per stap, hoeveel resultaten er per shard meetellen en de regel bij gelijke scores als die de selectie kan veranderen. Rangschik bij een hanteerbare testopdracht alle kandidaten die in aanmerking komen volgens de regel van de tweede rangschikking. Dat laat zien welke kandidaten bovenaan zouden kunnen komen.

In een ander voorbeeld met 18 documenten levert scoren over de hele collectie de volgorde B, C, A op voor de in aanmerking komende kandidaten. De tabel laat zien hoe de eerste selectie de eindvolgorde beïnvloedt als de tweede rangschikking steeds scores uit de hele collectie gebruikt. [Proef met de eerste selectie](https://sapien1.com/nl/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Eerste selectie | Oorspronkelijke eindvolgorde | Eindvolgorde na twee uitwisselingen van achtergronddocumenten |
| --- | --- | --- |
| Lokale BM25, één per shard | C, A | B, C |
| Lokale BM25, maximaal twee per shard | B, C, A | B, C, A |
| BM25 over de hele collectie, één per shard | B, C | B, C |

In de eerste rij valt B bij de oorspronkelijke indeling af vóór de tweede rangschikking. Zo kun je uitzoeken of andere kandidaten zijn gescoord of dat de overgebleven kandidaten anders zijn gescoord. Ontbreekt een kandidaat bij de tweede rangschikking, herhaal dan de eerste selectie. Zijn de kandidaten gelijk en is de volgorde anders, vergelijk dan de scores en de regel bij gelijke scores.
