Beispiele zum Reproduzieren eines BM25-Rankings
Diese Beispiele verwenden erfundene Dokumente und Suchanfragen. Sie zeigen, warum dieselben Kandidaten andere Punktzahlen erhalten können, wenn sich die Sammlung für die Berechnung ändert. Außerdem zeigen sie, wie ein Kandidat schon bei der ersten Auswahl ausscheiden kann. Die Berechnungen nutzen die festgelegte Version von rank-bm25.
Die fünf Testskripte und gespeicherten Ergebnisse herunterladen (ZIP). In der README steht, wie du die vorgegebenen Python-Paketversionen installierst und die Ergebnisse vergleichst.
Wie hat sich die mittlere Dokumentlänge verändert?
Auch ein zusätzliches Dokument ohne passende Suchbegriffe kann die mittlere Länge verändern, die in die Punkteberechnung eingeht. In diesem Beispiel liegt A bei einer mittleren Länge unter 18 Tokens vorne, bei 18 gleichauf mit B und über 18 dahinter. Bei der Kontrollrechnung ohne Längenanpassung liegt B durchgehend vorne.
Welche Dokumente haben das Gewicht der Suchbegriffe verändert?
In einer Sammlung aus neun erfundenen Dokumenten passt A zu red und B zu blue. Zwei Änderungen an anderen Dokumenten erhöhen die Anzahl der Dokumente mit red von zwei auf vier. Die Anzahl der Dokumente mit blue bleibt bei drei. Zuerst führt A, nach der ersten Änderung herrscht Gleichstand mit B, und nach der zweiten liegt A hinten. Die Kandidaten und die mittlere Länge von vier Tokens bleiben gleich.
Welche Dokumente zählen pro Shard?
In diesem Beispiel mit 18 Dokumenten drehen zwei Tauschaktionen mit anderen Dokumenten zwischen den Shards die Reihenfolge von A und B um, wenn jeder Shard seine eigenen Statistiken zum Bewerten nutzt. Eine gemeinsame Berechnung für die unveränderte Gesamtsammlung gibt B in jeder getesteten Verteilung die höhere Punktzahl. Die Elasticsearch-Such-API beschreibt, aus welchen Bereichen die Statistiken zu Suchbegriffen stammen können. Die hier gezeigten Punktzahlen stammen aus dem Python-Beispiel.
Welche Dokumente werden erneut bewertet?
In einem weiteren Beispiel mit 18 Dokumenten ergibt die Bewertung aller zulässigen Kandidaten die Reihenfolge B, C, A. Die zweite Sortierung nutzt dieselben Punktzahlen aus der Gesamtsammlung. Die Vorauswahl bestimmt, welche Kandidaten für die zweite Sortierung übrig bleiben.
Vorauswahl und Ergebnisse der zweiten Sortierung
| Vorauswahl | Ursprüngliche Endreihenfolge | Endreihenfolge nach zwei Dokumenttauschen zwischen Shards |
| Lokales BM25, einer pro Shard | C, A | B, C |
| Lokales BM25, bis zu zwei pro Shard | B, C, A | B, C, A |
| BM25 über die ganze Sammlung, einer pro Shard | B, C | B, C |