Esempi per riprodurre una classifica BM25
Questi esempi usano documenti e query inventati. Mostrano come gli stessi candidati possano ricevere punteggi diversi quando cambia la raccolta usata per i calcoli e come la prima selezione possa escludere un candidato prima del riordinamento. I calcoli usano la versione indicata di rank-bm25.
Scarica i cinque script e i risultati salvati (ZIP). Il file README spiega come installare le versioni indicate delle dipendenze Python e confrontare i risultati delle prove.
Come è cambiata la lunghezza media dei documenti?
Anche un documento aggiunto che non contiene alcun termine della query può cambiare la lunghezza media usata per i punteggi. In questo esempio, A è in testa sotto una media di 18 token, è a pari merito con B a 18 e resta indietro sopra 18. Nella prova di controllo con la correzione per lunghezza disattivata, B è sempre in testa.
Quali documenti hanno cambiato il peso dei termini?
In una raccolta di nove documenti inventati, A corrisponde a red e B a blue. Due modifiche ad altri documenti portano da due a quattro il numero di documenti che contengono red. Quelli con blue restano tre. A parte in testa, pareggia con B dopo la prima modifica e resta indietro dopo la seconda. I candidati e la media di quattro token restano uguali.
Quali documenti contano in ogni partizione?
In questo esempio con 18 documenti, due scambi di altri documenti tra le partizioni invertono l’ordine di A e B quando ogni partizione usa le proprie statistiche per calcolare i punteggi. Il calcolo sull’intera raccolta invariata dà a B il punteggio più alto in tutte le configurazioni provate. L’API di ricerca di Elasticsearch descrive i diversi insiemi di documenti da cui possono provenire le statistiche sui termini. I punteggi qui riportati vengono dall’esempio in Python.
Quali documenti passano al riordinamento?
In un altro esempio con 18 documenti, la valutazione di tutti i candidati idonei dà l’ordine B, C, A. Il riordinamento usa gli stessi punteggi calcolati sull’intera raccolta. La prima selezione decide quali candidati arrivano a quel passaggio.
Prima selezione e risultati del riordinamento
| Prima selezione | Ordine finale iniziale | Ordine finale dopo due scambi di altri documenti |
| BM25 locale, uno per partizione | C, A | B, C |
| BM25 locale, fino a due per partizione | B, C, A | B, C, A |
| BM25 sull’intera raccolta, uno per partizione | B, C | B, C |