Ricerca
Come riprodurre una classifica BM25 dopo una modifica all’indice
Salva i documenti usati per calcolare le statistiche BM25, gli ID che possono comparire nei risultati e quelli passati da una fase di ordinamento alla successiva. Questo aiuta a individuare un cambiamento nei pesi dei termini, nei punteggi per partizione o nella selezione dei candidati. Gli esempi usano documenti inventati già divisi in token e rank-bm25 0.2.2. Implementazione del punteggio
Controlla quale raccolta determina il punteggio
Ripeti la stessa query con gli stessi ID idonei per ogni raccolta usata nel calcolo. Salva la versione dell’indice o del corpus, l’analisi della query e le impostazioni del punteggio. Confronta la dimensione della raccolta, la lunghezza media dei documenti e quanti documenti contengono ciascun termine della query nell’insieme da cui provengono le statistiche.
Aggiungere un documento che non contiene i termini della query può modificare la correzione per lunghezza. In un esempio, l’aggiunta porta la media appena sotto i 18 token, esattamente a 18 o appena sopra 18. A è in testa sotto 18, pareggia con B a 18 e perde sopra 18. Con la correzione per lunghezza disattivata, B resta sempre in testa. Prova sulla lunghezza media
Anche a lunghezza media costante, le modifiche possono cambiare il peso dei termini. In un esempio con nove documenti, due modifiche ad altri documenti fanno salire da due a quattro il numero di documenti con red, mentre quelli con blue restano tre. A corrisponde a red e B a blue. A parte in testa, pareggia con B dopo la prima modifica e resta indietro dopo la seconda. I due candidati e la media di quattro token restano uguali. Prova sulla frequenza dei termini
Controlla quali documenti forniscono le statistiche delle partizioni
Se il punteggio si calcola localmente, salva la partizione dei candidati e degli altri documenti. Ricostruire lo stesso corpus con una disposizione diversa può cambiare il confronto tra punteggi di partizioni distinte. In un esempio con 18 documenti, due scambi tra altri documenti fanno passare B davanti ad A nel confronto locale. Un solo calcolo sull’intera raccolta invariata dà a B il punteggio più alto in tutte le disposizioni testate. Prova sulla disposizione delle partizioni
Quando riproduci una ricerca distribuita, controlla il metodo impostato per calcolare il punteggio. Elasticsearch descrive, per esempio, metodi che usano le frequenze della partizione corrente o quelle di tutte le partizioni. I punteggi precedenti vengono dall’esempio in Python. API di ricerca di Elasticsearch
Controlla quali candidati arrivano al riordinamento
Confronta gli ID prima e dopo il limite della prima selezione. Annota il metodo di calcolo di ogni fase, quanti risultati prendi per partizione e la regola per i pari merito quando può cambiare la selezione. Per una query di prova gestibile, ordina tutti i candidati idonei con la stessa regola del riordinamento. Avrai un riferimento per identificare chi potrebbe arrivare primo.
In un altro esempio con 18 documenti, il calcolo sull’intera raccolta ordina i candidati idonei come B, C, A. La tabella mostra l’effetto della prima selezione sull’ordine finale quando il riordinamento usa sempre i punteggi dell’intera raccolta. Prova della prima selezione
| Prima selezione | Ordine finale iniziale | Ordine finale dopo due scambi di altri documenti |
|---|---|---|
| BM25 locale, uno per partizione | C, A | B, C |
| BM25 locale, fino a due per partizione | B, C, A | B, C, A |
| BM25 sull’intera raccolta, uno per partizione | B, C | B, C |
Nella prima riga, la disposizione iniziale perde B prima del riordinamento. Il confronto distingue un cambiamento nei candidati valutati da un cambiamento nel modo di valutarli. Se un candidato non arriva al riordinamento, ripeti la selezione iniziale. Se i candidati coincidono ma l’ordine cambia, confronta i punteggi del riordinamento e il modo di risolvere i pari merito.