Lumaktaw sa pangunahing nilalaman

Menu

Pananaliksik

Paano ulitin ang ranggo ng BM25 matapos baguhin ang index

Wika ng artikulo: Tagalog

I-save ang mga dokumentong ginamit sa pagkalkula ng estadistika ng BM25, ang mga ID ng dokumentong puwedeng lumabas sa paghahanap, at ang mga ID na ipinasa sa bawat yugto ng pagraranggo. Makikita mo kung nagbago ang bigat ng mga salita, ang mga score sa bawat bahagi ng index, o ang pagpili ng mga kandidato. Gumagamit ang mga halimbawa ng kathang-isip na dokumentong hinati na sa mga token at ng rank-bm25 0.2.2. Code sa pagkalkula ng score

Aling mga dokumento ang ginamit sa pagkalkula ng score?

Patakbuhin ang parehong query kasama ang parehong mga ID na puwedeng isama para sa bawat koleksiyong ginagamit sa pagkalkula ng score. I-save ang bersiyon ng index o koleksiyon, kung paano pinroseso ang query, at ang mga setting sa pagkalkula ng score. Sa koleksiyong pinagmulan ng estadistika, ihambing ang dami at karaniwang haba ng mga dokumento at bilangin kung ilang dokumento ang naglalaman ng bawat salita sa query.

Kahit walang salitang tumutugma sa query ang idinagdag na dokumento, maaari pa rin nitong baguhin ang pag-aayos ng score batay sa haba. Sa isang halimbawa, matapos itong idagdag, ang karaniwang haba ay mas mababa nang kaunti sa 18 token, eksaktong 18, o mas mataas nang kaunti. Mas mababa sa 18, nangunguna ang A. Sa 18, tabla ang A at B. Higit sa 18, nahuhuli ang A. Kapag inalis ang pag-aayos batay sa haba, laging nangunguna ang B. Pagsubok sa karaniwang haba

Maaaring magbago ang bigat ng mga salita kahit pareho ang karaniwang haba. Sa halimbawang may siyam na dokumento, dalawang pagbabago sa ibang mga dokumento ang nagparami sa mga dokumentong may red mula dalawa hanggang apat. Tatlo pa rin ang dokumentong may blue. Tumutugma ang A sa red at ang B sa blue. Una, nangunguna ang A. Pagkatapos ng unang pagbabago, katabla nito ang B. Pagkatapos ng pangalawa, nahuhuli na ito. Pareho pa rin ang dalawang kandidato at ang karaniwang haba na apat na token. Pagsubok sa dalas ng mga salita

Aling mga dokumento ang kasama sa bilang sa bawat bahagi ng index?

Kapag hiwalay ang pagkalkula ng score sa bawat bahagi, i-save kung saang bahagi napunta ang bawat kandidato at ang iba pang dokumento. Kahit pareho ang koleksiyon, maaaring magbago ang resulta ng paghahambing ng score mula sa iba't ibang bahagi kapag iniba ang pagkakahati. Sa halimbawang may 18 dokumento, dalawang pagpapalitan ng ibang dokumento ang nagpalipat ng lokal na lamang mula A patungong B. Kapag iisang kalkulasyon ang gumamit sa buong koleksiyong walang binago, mas mataas ang score ng B sa bawat paraan ng paghahati na sinubukan. Pagsubok sa paghahati ng index

Kapag inuulit ang paghahanap na hinati sa maraming bahagi, tingnan kung aling paraan ng pagkalkula ng score ang nakatakda. Halimbawa, inilalarawan ng dokumentasyon ng Elasticsearch ang mga paraang gumagamit ng dalas ng mga salita mula sa kasalukuyang bahagi ng index o mula sa lahat ng bahagi. Sa halimbawang Python nakuha ang mga score sa itaas. API sa paghahanap ng Elasticsearch

Sinong mga kandidato ang umabot sa muling pagraranggo?

Ihambing ang mga ID bago at matapos paikliin ang listahan. Itala kung paano kinalkula ang score sa bawat yugto, kung ilan ang puwedeng umusad mula sa bawat bahagi, at kung paano pinagpapasyahan ang tabla kapag nakaaapekto ito sa pagpili. Pumili ng query na kayang iranggo ang lahat ng puwedeng isamang kandidato. Gamitin ang buong ranggo upang makita kung sino ang maaaring manguna ayon sa huling tuntunin sa pagkalkula ng score.

Sa hiwalay na halimbawang may 18 dokumento, ang pagkalkula batay sa buong koleksiyon ay nagbigay ng pagkakasunod-sunod na B, C, A. Ipinapakita sa talahanayan kung paano naaapektuhan ng unang pagpili ang huling pagkakasunod-sunod kapag laging batay sa buong koleksiyon ang mga score sa muling pagraranggo. Pagsubok sa unang pagpili

Unang pagpiliOrihinal na huling pagkakasunod-sunodHuling pagkakasunod-sunod matapos ang dalawang pagpapalitan ng ibang dokumento
Lokal na BM25, isa bawat bahagiC, AB, C
Lokal na BM25, hanggang dalawa bawat bahagiB, C, AB, C, A
BM25 sa buong koleksiyon, isa bawat bahagiB, CB, C

Sa unang hilera, nawawala ang B bago ang muling pagraranggo sa orihinal na pagkakahati. Suriin kung sinong mga kandidato ang nabigyan ng score at kung paano kinalkula iyon. Kung may nawawala sa listahang ipinararanggong muli, ulitin ang unang pagpili. Kung pareho ang mga kandidato pero iba ang pagkakasunod-sunod, ihambing ang huling mga score at ang tuntunin kapag tabla.