Forschung
So reproduzierst du ein BM25-Ranking nach einer Indexänderung
Speichere die Dokumente, aus denen die BM25-Statistiken berechnet werden, die IDs der zulässigen Suchergebnisse und die IDs, die von einer Sortierstufe an die nächste weitergegeben werden. So kannst du prüfen, ob sich die Gewichtung der Begriffe, die Punktzahlen pro Shard oder die Auswahl der Kandidaten geändert hat. Die Beispiele verwenden fiktive, bereits in Tokens zerlegte Dokumente und rank-bm25 0.2.2. Implementierung der Punkteberechnung
Welche Dokumente bestimmen die Punktzahl?
Wiederhole dieselbe Suchanfrage mit denselben zulässigen IDs für jede Sammlung, aus der du Punktzahlen berechnest. Speichere den Stand des Index oder Korpus, die Auswertung der Suchanfrage und die Einstellungen für die Punkteberechnung. Vergleiche die Größe der Sammlung, die mittlere Dokumentlänge und die Anzahl der Dokumente mit jedem Suchbegriff in dem Bestand, aus dem die Statistiken stammen.
Ein neues Dokument ohne passende Suchbegriffe kann die Anpassung an die Dokumentlänge verändern. In einem Beispiel verschiebt so ein Dokument den Durchschnitt knapp unter 18 Tokens, genau auf 18 oder knapp über 18. Unter 18 liegt A vorne, bei 18 herrscht Gleichstand mit B, und über 18 gewinnt B. Ohne Längennormalisierung liegt B durchgehend vorne. Test der mittleren Dokumentlänge
Auch bei gleichbleibender mittlerer Länge können Änderungen die Gewichtung der Begriffe verschieben. In einem Beispiel mit neun Dokumenten erhöhen zwei Änderungen an anderen Dokumenten die Anzahl der Dokumente mit red von zwei auf vier. Bei blue bleibt sie bei drei. A passt zu red und B zu blue. A führt zuerst, liegt nach der ersten Änderung gleichauf mit B und fällt nach der zweiten zurück. Die beiden Kandidaten und der Durchschnitt von vier Tokens bleiben gleich. Test der Dokumenthäufigkeit
Welche Dokumente zählen pro Shard?
Speichere bei lokaler Bewertung die Shard-Zuordnung der Kandidaten und der anderen Dokumente. Verteilst du denselben Korpus beim Neuaufbau anders, kann sich der Vergleich der Punktzahlen aus verschiedenen Shards ändern. Bei einem Beispiel mit 18 Dokumenten führen zwei Dokumenttausche zwischen Shards dazu, dass in der lokalen Bewertung B statt A vorne liegt. Eine Bewertung über die unveränderte Gesamtsammlung gibt B in jeder getesteten Verteilung die höhere Punktzahl. Test der Shard-Verteilung
Prüfe bei einer verteilten Suche, welcher Berechnungsmodus eingestellt ist. Elasticsearch beschreibt beispielsweise Modi mit Häufigkeiten aus dem aktuellen Shard oder aus allen Shards. Die Punktzahlen oben stammen aus dem Python-Beispiel. Elasticsearch-Such-API
Welche Kandidaten werden erneut bewertet?
Vergleiche die IDs vor und nach der Begrenzung der Vorauswahl. Halte fest, wie die Punktzahl je Stufe berechnet wird, wie viele Treffer pro Shard einfließen und welche Regel bei Gleichstand über die Auswahl entscheidet. Bei einer überschaubaren Testanfrage kannst du alle zulässigen Kandidaten nach der Regel der zweiten Stufe sortieren. So siehst du, welche Kandidaten gewinnen könnten.
In einem weiteren Beispiel mit 18 Dokumenten liefert die Bewertung über die ganze Sammlung für die zulässigen Kandidaten die Reihenfolge B, C, A. Die Tabelle zeigt, wie die Vorauswahl die Endreihenfolge beeinflusst, wenn die zweite Sortierung immer dieselben Punktzahlen aus der Gesamtsammlung nutzt. Test der Vorauswahl
| Vorauswahl | Ursprüngliche Endreihenfolge | Endreihenfolge nach zwei Dokumenttauschen zwischen Shards |
|---|---|---|
| Lokales BM25, einer pro Shard | C, A | B, C |
| Lokales BM25, bis zu zwei pro Shard | B, C, A | B, C, A |
| BM25 über die ganze Sammlung, einer pro Shard | B, C | B, C |
In der ersten Zeile fällt B in der ursprünglichen Verteilung vor der zweiten Sortierung heraus. So lässt sich unterscheiden, ob sich die bewerteten Kandidaten oder die Bewertung der Finalisten geändert haben. Fehlt ein Kandidat in der zweiten Stufe, wiederhole die Vorauswahl. Sind die Kandidaten dieselben und ändert sich ihre Reihenfolge, vergleiche die Punktzahlen der zweiten Stufe und die Regel bei Gleichstand.