# इंडेक्स में बदलाव के बाद BM25 रैंकिंग फिर से कैसे निकालें

BM25 के आँकड़े निकालने के लिए इस्तेमाल किए गए दस्तावेज़, खोज में शामिल किए जा सकने वाले दस्तावेज़ों की ID और हर चरण से अगले चरण में भेजी गई ID सहेजें। इससे पता चलेगा कि बदलाव खोज शब्दों के वज़न में आया, इंडेक्स के हिस्सों के स्कोर में या उम्मीदवारों के चयन में। उदाहरणों में काल्पनिक दस्तावेज़ों को पहले से टोकन में बाँटा गया है और `rank-bm25` 0.2.2 का इस्तेमाल किया गया है। [स्कोर निकालने का कोड](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## स्कोर किन दस्तावेज़ों से निकाला गया?

स्कोर निकालने के लिए इस्तेमाल हुए हर दस्तावेज़ संग्रह पर वही क्वेरी और वही पात्र ID फिर से चलाएँ। इंडेक्स या संग्रह का संस्करण, क्वेरी को तैयार करने का तरीका और स्कोर की सेटिंग सहेजें। जिस संग्रह से आँकड़े लिए गए, उसमें दस्तावेज़ों की कुल संख्या, उनकी औसत लंबाई और क्वेरी के हर शब्द वाले दस्तावेज़ों की संख्या की तुलना करें।

क्वेरी से मेल न खाने वाला दस्तावेज़ भी लंबाई के आधार पर होने वाला स्कोर का समायोजन बदल सकता है। एक उदाहरण में ऐसा दस्तावेज़ जोड़ने पर औसत लंबाई 18 टोकन से थोड़ी कम, ठीक 18 या थोड़ी ज़्यादा होती है। 18 से कम पर A आगे है, ठीक 18 पर A और B बराबर हैं और 18 से ऊपर A पीछे है। लंबाई का समायोजन बंद करने पर हर बार B आगे रहता है। [औसत लंबाई की जाँच](https://sapien1.com/hi/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

औसत लंबाई समान रहने पर भी दस्तावेज़ों में बदलाव से शब्दों का वज़न बदल सकता है। नौ दस्तावेज़ों वाले उदाहरण में, बाकी दस्तावेज़ों में दो बदलाव करने से `red` वाले दस्तावेज़ दो से चार हो जाते हैं, जबकि `blue` वाले दस्तावेज़ तीन ही रहते हैं। A का `red` से और B का `blue` से मेल है। शुरुआत में A आगे है, पहले बदलाव के बाद B के बराबर है और दूसरे बदलाव के बाद पीछे रह जाता है। दोनों उम्मीदवार और चार टोकन की औसत लंबाई समान रहती है। [शब्दों की आवृत्ति की जाँच](https://sapien1.com/hi/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## इंडेक्स के हर हिस्से के आँकड़ों में कौन से दस्तावेज़ गिने गए?

अगर स्कोर हर हिस्से में अलग से निकलता है, तो दर्ज करें कि हर उम्मीदवार और हर अन्य दस्तावेज़ किस हिस्से में था। उसी संग्रह को अलग तरह से बाँटने पर अलग-अलग हिस्सों के स्कोर की तुलना का नतीजा बदल सकता है। 18 दस्तावेज़ों वाले उदाहरण में, बाकी दस्तावेज़ों की जगह दो बार अदलने पर स्थानीय स्कोर में A की जगह B आगे हो जाता है। उसी संग्रह की सभी सामग्री लेकर एक साथ स्कोर निकालें, तो हर आज़माए गए बँटवारे में B को ज़्यादा स्कोर मिलता है। [इंडेक्स के बँटवारे की जाँच](https://sapien1.com/hi/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

कई हिस्सों में चली खोज को दोहराते समय देखें कि स्कोर निकालने की कौन सी सेटिंग लगी थी। मसलन, Elasticsearch के दस्तावेज़ ऐसे तरीके बताते हैं जो मौजूदा हिस्से या सभी हिस्सों में शब्दों की आवृत्ति का इस्तेमाल करते हैं। ऊपर के स्कोर Python के उदाहरण से आए हैं। [Elasticsearch खोज API](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## कौन से उम्मीदवार दोबारा रैंकिंग तक पहुँचते हैं?

सूची छोटी करने से पहले और बाद की ID की तुलना करें। हर चरण में स्कोर का तरीका लिखें और दर्ज करें कि हर हिस्से से कितने उम्मीदवार आगे गए। अगर बराबर स्कोर वाले उम्मीदवारों में चुनाव करना पड़ता है, तो उसका नियम भी दर्ज करें। ऐसी परीक्षण क्वेरी चुनें जिसमें सभी पात्र उम्मीदवारों का क्रम निकाल सकें। उस पूरे क्रम से पता चलेगा कि अंतिम स्कोर के नियम के हिसाब से कौन जीत सकता है।

18 दस्तावेज़ों वाले एक अलग उदाहरण में पूरे संग्रह पर निकाले गए स्कोर से उम्मीदवारों का क्रम B, C, A आता है। जब दोबारा रैंकिंग में हमेशा पूरे संग्रह के आधार पर स्कोर निकाला जाता है, तो पहला चयन अंतिम क्रम को कैसे बदल सकता है, यह तालिका में दिखता है। [पहले चयन की जाँच](https://sapien1.com/hi/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| पहला चयन | मूल अंतिम क्रम | बाकी दस्तावेज़ों की जगह दो बार अदलने के बाद अंतिम क्रम |
| --- | --- | --- |
| स्थानीय BM25, हर हिस्से से एक | C, A | B, C |
| स्थानीय BM25, हर हिस्से से अधिकतम दो | B, C, A | B, C, A |
| पूरे संग्रह पर BM25, हर हिस्से से एक | B, C | B, C |

पहली पंक्ति में मूल बँटवारे के तहत B दोबारा रैंकिंग से पहले ही बाहर हो जाता है। देखें किसे स्कोर मिला और अलग से जाँचें कि स्कोर कैसे निकाला गया। अगर दोबारा रैंकिंग की सूची से कोई उम्मीदवार गायब है, तो पहला चयन फिर चलाएँ। अगर सूची समान है पर क्रम अलग है, तो अंतिम स्कोर और बराबरी सुलझाने के तरीके की तुलना करें।
