# Comment reproduire un classement BM25 après une modification de l’index

Conservez les documents qui servent à calculer les statistiques de BM25, les identifiants admissibles à la recherche et les identifiants transmis d’une étape de classement à l’autre. Vous pourrez ainsi repérer un changement dans le poids des termes, les scores par partition ou la sélection des candidats. Les exemples utilisent des documents fictifs déjà découpés en tokens et `rank-bm25` 0.2.2. [Implémentation du calcul des scores](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Quels documents servent à calculer le score ?

Rejouez la même requête avec les mêmes identifiants admissibles pour chaque collection de calcul. Conservez la version de l’index ou du corpus, l’analyse de la requête et les réglages de notation. Dans le périmètre qui fournit les statistiques, comparez le nombre de documents, leur longueur moyenne et le nombre de documents contenant chaque terme de la requête.

Ajouter un document qui ne correspond à aucun terme de la requête peut changer l’ajustement selon la longueur. Dans un exemple, cet ajout place la moyenne juste en dessous de 18 tokens, à 18 ou juste au-dessus de 18. A est devant sous 18, à égalité avec B à 18, puis derrière au-dessus de 18. Avec l’ajustement désactivé, B reste en tête dans tous les cas. [Essai sur la longueur moyenne](https://sapien1.com/fr/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Des modifications peuvent aussi changer le poids des termes à longueur moyenne constante. Dans un exemple avec neuf documents, deux modifications d’autres documents font passer de deux à quatre le nombre de documents contenant `red`, tandis que le nombre pour `blue` reste à trois. A correspond à `red` et B à `blue`. A est d’abord en tête, à égalité après la première modification, puis derrière B après la deuxième. Les deux candidats et la moyenne de quatre tokens restent les mêmes. [Essai sur la fréquence des termes](https://sapien1.com/fr/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Quels documents comptent dans chaque partition ?

Si les scores sont calculés localement, notez la partition des candidats et des autres documents. Reconstruire le même corpus avec une autre répartition peut changer la comparaison entre scores issus de partitions différentes. Dans un exemple à 18 documents, deux échanges de documents hors sélection font passer B devant A dans la comparaison locale. Un calcul sur toute la collection, qui reste identique, donne le meilleur score à B dans toutes les répartitions testées. [Essai sur la répartition entre partitions](https://sapien1.com/fr/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Pour reproduire une recherche distribuée, vérifiez le mode de calcul configuré. Elasticsearch décrit par exemple des modes qui utilisent les fréquences de la partition courante ou de toutes les partitions. Les scores ci-dessus proviennent de l’exemple en Python. [API de recherche Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Quels candidats passent au reclassement ?

Comparez les identifiants avant et après la limite de la première sélection. Notez la méthode de calcul de chaque étape, le nombre de résultats retenus par partition et la règle de départage si des scores égaux peuvent modifier la sélection. Pour une requête de test facile à traiter, classez tous les candidats admissibles selon la règle de reclassement. Cela vous donne une référence pour voir lesquels pourraient arriver en tête.

Dans un autre exemple à 18 documents, le calcul sur toute la collection classe les candidats admissibles dans l’ordre B, C, A. Le tableau montre l’effet de la première sélection sur l’ordre final lorsque le reclassement utilise toujours les scores de la collection complète. [Essai sur la première sélection](https://sapien1.com/fr/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| Première sélection | Ordre final d’origine | Ordre final après deux échanges de documents hors sélection |
| --- | --- | --- |
| BM25 local, un par partition | C, A | B, C |
| BM25 local, jusqu’à deux par partition | B, C, A | B, C, A |
| BM25 sur toute la collection, un par partition | B, C | B, C |

La première ligne montre que, dans la répartition d’origine, B est écarté avant le reclassement. Cette comparaison distingue un changement dans les candidats notés d’un changement dans la façon de noter les finalistes. Si un candidat manque à l’entrée du reclassement, rejouez la première sélection. Si les candidats sont les mêmes mais que l’ordre diffère, comparez les scores du reclassement et les règles de départage.
