Exemple pentru refacerea unui clasament BM25
Exemplele folosesc documente și interogări fictive. Ele arată cum aceiași candidați pot primi scoruri diferite când se schimbă colecția folosită la calcul și cum un candidat poate fi eliminat chiar la selecția inițială. Calculele folosesc versiunea indicată a bibliotecii rank-bm25.
Descarcă cele cinci scripturi și rezultatele salvate (ZIP). Fișierul README arată cum să instalezi versiunile indicate ale pachetelor Python și cum să compari rezultatele.
Cum s-a schimbat lungimea medie a documentelor?
Chiar și adăugarea unui document fără termeni din interogare poate schimba lungimea medie folosită la calculul scorurilor. În acest exemplu, A conduce când media este sub 18 tokenuri, are același scor ca B la 18 și rămâne în urmă peste 18. În testul de control cu corecția pentru lungime dezactivată, B conduce în toate cazurile.
Ce documente au schimbat ponderea termenilor?
Într-o colecție de nouă documente fictive, A se potrivește cu red, iar B cu blue. Două modificări în alte documente duc numărul documentelor care conțin red de la două la patru. Numărul celor cu blue rămâne trei. A conduce la început, are același scor ca B după prima modificare și rămâne în urmă după a doua. Candidații și lungimea medie de patru tokenuri rămân aceleași.
Ce documente contează în fiecare segment?
În acest exemplu cu 18 documente, două schimburi de documente de fundal între segmente inversează ordinea dintre A și B atunci când fiecare segment folosește propriile statistici la calculul scorurilor. Un singur calcul pe întreaga colecție neschimbată îi dă lui B scorul mai mare în toate împărțirile testate. API-ul de căutare Elasticsearch descrie din ce segmente pot proveni statisticile termenilor. Scorurile de aici provin din exemplul în Python.
Ce documente au ajuns la etapa finală de clasare?
Într-un alt exemplu cu 18 documente, calcularea scorului tuturor candidaților eligibili dă ordinea B, C, A. Etapa finală folosește aceleași scoruri, calculate pe întreaga colecție. Selecția inițială stabilește ce candidați ajung în această etapă.
Selecția inițială și rezultatele etapei finale
| Selecția inițială | Ordinea finală inițială | Ordinea finală după două schimburi între documentele de fundal |
| BM25 local, câte unul pe segment | C, A | B, C |
| BM25 local, cel mult doi pe segment | B, C, A | B, C, A |
| BM25 pe întreaga colecție, câte unul pe segment | B, C | B, C |