Exemples pour reproduire un classement BM25
Ces exemples utilisent des documents et des requêtes fictifs. Ils montrent comment les mêmes candidats peuvent obtenir des scores différents quand la collection utilisée pour le calcul change. Ils montrent aussi comment la première sélection peut écarter un candidat avant le reclassement. Les calculs utilisent la version indiquée de rank-bm25.
Télécharger les cinq scripts et leurs résultats enregistrés (ZIP). Le fichier README explique comment installer les versions indiquées des dépendances Python et comparer les résultats des essais.
Comment la longueur moyenne des documents a-t-elle changé ?
Ajouter un document qui ne contient aucun terme de la requête peut changer la longueur moyenne prise en compte pour les scores. Dans cet exemple, A arrive en tête sous une moyenne de 18 tokens, est à égalité avec B à 18, puis passe derrière au-dessus de 18. Dans le test de contrôle, où l’ajustement selon la longueur est désactivé, B reste en tête dans tous les cas.
Quels documents ont changé le poids des termes ?
Dans une collection de neuf documents fictifs, A correspond à red et B à blue. Deux modifications dans d’autres documents font passer de deux à quatre le nombre de documents contenant red. Ceux qui contiennent blue restent au nombre de trois. A est d’abord en tête, puis à égalité avec B après la première modification et derrière après la seconde. Les candidats et la moyenne de quatre tokens restent les mêmes.
Quels documents comptent dans chaque partition ?
Dans cet exemple à 18 documents, deux échanges de documents hors sélection entre les partitions inversent l’ordre de A et B quand chaque partition utilise ses propres statistiques pour calculer les scores. Un calcul sur toute la collection, qui n’a pas changé, donne à B le score le plus élevé dans toutes les répartitions testées. L’API de recherche Elasticsearch décrit les différents périmètres des statistiques de termes. Les scores présentés ici viennent de l’exemple en Python.
Quels documents passent au reclassement ?
Dans un autre exemple à 18 documents, le calcul sur tous les candidats admissibles donne l’ordre B, C, A. Le reclassement utilise les mêmes scores, calculés à partir de toute la collection. La première sélection détermine les candidats qui lui parviennent.
Première sélection et résultats après reclassement
| Première sélection | Ordre final d’origine | Ordre final après deux échanges de documents hors sélection |
| BM25 local, un par partition | C, A | B, C |
| BM25 local, jusqu’à deux par partition | B, C, A | B, C, A |
| BM25 sur toute la collection, un par partition | B, C | B, C |