Vai al contenuto principale

Menu

Ricerca

Come riprodurre una classifica BM25 dopo una modifica all’indice

Lingua: Italiano

Salva i documenti usati per calcolare le statistiche BM25, gli ID che possono comparire nei risultati e quelli passati da una fase di ordinamento alla successiva. Questo aiuta a individuare un cambiamento nei pesi dei termini, nei punteggi per partizione o nella selezione dei candidati. Gli esempi usano documenti inventati già divisi in token e rank-bm25 0.2.2. Implementazione del punteggio

Controlla quale raccolta determina il punteggio

Ripeti la stessa query con gli stessi ID idonei per ogni raccolta usata nel calcolo. Salva la versione dell’indice o del corpus, l’analisi della query e le impostazioni del punteggio. Confronta la dimensione della raccolta, la lunghezza media dei documenti e quanti documenti contengono ciascun termine della query nell’insieme da cui provengono le statistiche.

Aggiungere un documento che non contiene i termini della query può modificare la correzione per lunghezza. In un esempio, l’aggiunta porta la media appena sotto i 18 token, esattamente a 18 o appena sopra 18. A è in testa sotto 18, pareggia con B a 18 e perde sopra 18. Con la correzione per lunghezza disattivata, B resta sempre in testa. Prova sulla lunghezza media

Anche a lunghezza media costante, le modifiche possono cambiare il peso dei termini. In un esempio con nove documenti, due modifiche ad altri documenti fanno salire da due a quattro il numero di documenti con red, mentre quelli con blue restano tre. A corrisponde a red e B a blue. A parte in testa, pareggia con B dopo la prima modifica e resta indietro dopo la seconda. I due candidati e la media di quattro token restano uguali. Prova sulla frequenza dei termini

Controlla quali documenti forniscono le statistiche delle partizioni

Se il punteggio si calcola localmente, salva la partizione dei candidati e degli altri documenti. Ricostruire lo stesso corpus con una disposizione diversa può cambiare il confronto tra punteggi di partizioni distinte. In un esempio con 18 documenti, due scambi tra altri documenti fanno passare B davanti ad A nel confronto locale. Un solo calcolo sull’intera raccolta invariata dà a B il punteggio più alto in tutte le disposizioni testate. Prova sulla disposizione delle partizioni

Quando riproduci una ricerca distribuita, controlla il metodo impostato per calcolare il punteggio. Elasticsearch descrive, per esempio, metodi che usano le frequenze della partizione corrente o quelle di tutte le partizioni. I punteggi precedenti vengono dall’esempio in Python. API di ricerca di Elasticsearch

Controlla quali candidati arrivano al riordinamento

Confronta gli ID prima e dopo il limite della prima selezione. Annota il metodo di calcolo di ogni fase, quanti risultati prendi per partizione e la regola per i pari merito quando può cambiare la selezione. Per una query di prova gestibile, ordina tutti i candidati idonei con la stessa regola del riordinamento. Avrai un riferimento per identificare chi potrebbe arrivare primo.

In un altro esempio con 18 documenti, il calcolo sull’intera raccolta ordina i candidati idonei come B, C, A. La tabella mostra l’effetto della prima selezione sull’ordine finale quando il riordinamento usa sempre i punteggi dell’intera raccolta. Prova della prima selezione

Prima selezioneOrdine finale inizialeOrdine finale dopo due scambi di altri documenti
BM25 locale, uno per partizioneC, AB, C
BM25 locale, fino a due per partizioneB, C, AB, C, A
BM25 sull’intera raccolta, uno per partizioneB, CB, C

Nella prima riga, la disposizione iniziale perde B prima del riordinamento. Il confronto distingue un cambiamento nei candidati valutati da un cambiamento nel modo di valutarli. Se un candidato non arriva al riordinamento, ripeti la selezione iniziale. Se i candidati coincidono ma l’ordine cambia, confronta i punteggi del riordinamento e il modo di risolvere i pari merito.