Cercetare
Cum refaci clasamentul BM25 după o modificare a indexului
Salvează documentele folosite la calculul statisticilor BM25, ID-urile care pot fi selectate și ID-urile transmise de la o etapă de clasare la alta. Așa poți afla dacă s-au schimbat ponderile termenilor, scorurile din segmentele indexului sau selecția candidaților. Exemplele folosesc documente fictive împărțite în prealabil în tokenuri și rank-bm25 0.2.2. Codul de calcul al scorului
Din ce documente se calculează scorul?
Rulează din nou aceeași interogare cu aceleași ID-uri eligibile pentru fiecare colecție care servește la calcularea scorului. Salvează versiunea indexului sau a colecției, modul de analiză a interogării și setările de calcul. Compară câte documente sunt în colecția care furnizează statisticile, cât de lungi sunt în medie și în câte apare fiecare termen din interogare.
Chiar și un document fără termeni din interogare poate schimba corecția scorului în funcție de lungime. Într-un exemplu, adăugarea unui astfel de document duce media puțin sub 18 tokenuri, exact la 18 sau puțin peste. Sub 18 conduce A, la 18 A are același scor ca B, iar peste 18 B trece în față. Dacă dezactivezi corecția pentru lungime, B conduce în toate cazurile. Testul pentru lungimea medie
Modificările pot schimba ponderea termenilor chiar dacă lungimea medie rămâne aceeași. Într-un exemplu cu nouă documente, două modificări în documentele de fundal duc numărul celor care conțin red de la două la patru. Numărul celor cu blue rămâne trei. A se potrivește cu red, iar B cu blue. Inițial conduce A, după prima modificare are același scor ca B, iar după a doua rămâne în urmă. Cei doi candidați și media de patru tokenuri rămân aceleași. Testul pentru frecvența termenilor
Ce documente intră în statistica fiecărui segment?
Dacă scorurile sunt calculate local, salvează segmentul din care face parte fiecare candidat și fiecare document de fundal. O altă împărțire a aceleiași colecții poate schimba rezultatul comparației între scorurile din segmente diferite. Într-un exemplu cu 18 documente, două schimburi între documentele de fundal îl aduc pe B în fața lui A la calculul local. Când scorul se calculează o singură dată pe baza întregii colecții neschimbate, B are scorul mai mare în toate împărțirile testate. Testul pentru împărțirea indexului
Când refaci o căutare distribuită, verifică modul de calcul configurat. De exemplu, documentația Elasticsearch descrie opțiuni care folosesc frecvențele termenilor din segmentul curent sau din toate segmentele. Scorurile de mai sus provin din exemplul în Python. API-ul de căutare Elasticsearch
Cine ajunge la etapa finală de clasare?
Compară ID-urile înainte și după restrângerea listei de candidați. Notează metoda de calcul a scorului la fiecare pas, câți candidați pot trece din fiecare segment și cum sunt departajate scorurile egale dacă asta schimbă selecția. Pentru o interogare de test ușor de verificat, alcătuiește clasamentul tuturor candidaților eligibili. Așa vezi cine ar putea câștiga după regula de calcul din etapa finală.
Într-un alt exemplu cu 18 documente, calculul pe întreaga colecție dă ordinea B, C, A. Tabelul arată cum schimbă selecția inițială ordinea finală, când etapa finală folosește întotdeauna scoruri bazate pe întreaga colecție. Testul pentru selecția inițială
| Selecția inițială | Ordinea finală inițială | Ordinea finală după două schimburi între documentele de fundal |
|---|---|---|
| BM25 local, câte unul pe segment | C, A | B, C |
| BM25 local, cel mult doi pe segment | B, C, A | B, C, A |
| BM25 pe întreaga colecție, câte unul pe segment | B, C | B, C |
Pe primul rând, în împărțirea inițială, B iese din selecție înainte de etapa finală. Verifică cine primește un scor și cum este calculat. Dacă lipsește un candidat din lista pentru etapa finală, refă selecția inițială. Dacă lista este aceeași, dar ordinea diferă, compară scorurile finale și modul de departajare.