# วิธีสร้างอันดับ BM25 ให้ได้ผลเดิมหลังเปลี่ยนดัชนี

บันทึกเอกสารที่ใช้คำนวณสถิติ BM25 รหัสเอกสารที่มีสิทธิ์เป็นผลการค้นหา และรหัสที่ส่งต่อระหว่างรอบจัดอันดับ ข้อมูลนี้ช่วยให้เห็นว่าจุดที่เปลี่ยนคือค่าน้ำหนักของคำค้น คะแนนในแต่ละส่วนของดัชนี หรือวิธีคัดเลือกเอกสาร ตัวอย่างใช้เอกสารสมมติที่แบ่งเป็นโทเค็นไว้แล้วและ `rank-bm25` เวอร์ชัน 0.2.2 [โค้ดคำนวณคะแนน](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## คะแนนคำนวณจากเอกสารชุดไหน

ใช้คำค้นและรหัสเอกสารที่มีสิทธิ์ชุดเดิมทดสอบกับเอกสารแต่ละชุดที่ใช้คิดคะแนน บันทึกเวอร์ชันของดัชนีหรือชุดเอกสาร วิธีประมวลผลคำค้น และการตั้งค่าการคิดคะแนน จากชุดที่ใช้คำนวณสถิติ ให้เปรียบเทียบจำนวนเอกสาร ความยาวเฉลี่ย และจำนวนเอกสารที่มีคำค้นแต่ละคำ

แม้จะเพิ่มเอกสารที่ไม่มีคำค้นเลย วิธีปรับคะแนนตามความยาวก็อาจเปลี่ยนได้ ในตัวอย่างหนึ่ง เมื่อเพิ่มเอกสารแบบนี้ ความยาวเฉลี่ยอาจต่ำกว่า 18 โทเค็นเล็กน้อย เท่ากับ 18 พอดี หรือสูงกว่าเล็กน้อย ถ้าต่ำกว่า 18 เอกสาร A จะนำ ถ้าเท่ากับ 18 จะเสมอกับ B และถ้าสูงกว่า 18 จะตามหลัง B เมื่อปิดการปรับคะแนนตามความยาว B จะนำทุกกรณี [การทดสอบความยาวเฉลี่ย](https://sapien1.com/th/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

การแก้ไขเอกสารอาจเปลี่ยนค่าน้ำหนักของคำค้นได้แม้ความยาวเฉลี่ยคงเดิม ในตัวอย่างที่มีเอกสารเก้าฉบับ การแก้เอกสารประกอบสองครั้งเพิ่มจำนวนฉบับที่มี `red` จากสองเป็นสี่ ส่วนจำนวนฉบับที่มี `blue` ยังคงเป็นสาม A ตรงกับ `red` และ B ตรงกับ `blue` ตอนแรก A นำ หลังแก้ครั้งแรก A เสมอกับ B และหลังแก้ครั้งที่สอง A ตามหลัง เอกสารผู้สมัครทั้งสองฉบับและความยาวเฉลี่ยสี่โทเค็นยังเหมือนเดิม [การทดสอบความถี่ของคำ](https://sapien1.com/th/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## แต่ละส่วนของดัชนีใช้เอกสารใดคำนวณสถิติ

ถ้าคำนวณคะแนนแยกตามส่วนของดัชนี ให้บันทึกว่าเอกสารผู้สมัครและเอกสารประกอบแต่ละฉบับอยู่ในส่วนใด แม้จะใช้เอกสารชุดเดิม การแบ่งดัชนีต่างจากเดิมก็อาจเปลี่ยนผลเปรียบเทียบคะแนนข้ามส่วนได้ ในตัวอย่างที่มีเอกสาร 18 ฉบับ การสลับเอกสารประกอบสองครั้งทำให้ B ขึ้นมานำแทน A เมื่อคิดคะแนนแยกตามส่วน เมื่อคำนวณคะแนนรวมกันโดยอิงเอกสารทั้งชุดที่ยังเหมือนเดิม B ได้คะแนนสูงกว่าในทุกแบบที่ทดสอบ [การทดสอบการแบ่งดัชนี](https://sapien1.com/th/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

เมื่อทดสอบการค้นหาที่กระจายไปหลายส่วนอีกครั้ง ให้ตรวจสอบโหมดการคำนวณคะแนนที่ตั้งไว้ ตัวอย่างเช่น เอกสารของ Elasticsearch อธิบายโหมดที่ใช้ความถี่ของคำจากส่วนปัจจุบันหรือจากทุกส่วน คะแนนข้างต้นมาจากตัวอย่าง Python [API ค้นหาของ Elasticsearch](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## เอกสารไหนได้เข้าสู่รอบจัดอันดับใหม่

เปรียบเทียบรหัสก่อนและหลังตัดรายชื่อให้สั้นลง บันทึกวิธีคิดคะแนนในแต่ละรอบ จำนวนเอกสารที่ส่งต่อจากแต่ละส่วน และกติกาตัดสินเมื่อคะแนนเท่ากันหากมีผลต่อการคัดเลือก เลือกคำค้นทดสอบที่จัดอันดับเอกสารซึ่งมีสิทธิ์ได้ครบ แล้วใช้อันดับทั้งหมดดูว่าเอกสารใดมีโอกาสขึ้นอันดับแรกตามกติกาการคิดคะแนนรอบสุดท้าย

อีกตัวอย่างหนึ่งใช้เอกสาร 18 ฉบับ เมื่อคิดคะแนนจากเอกสารทั้งชุด ผู้สมัครเรียงตามลำดับ B, C, A ตารางแสดงว่าการคัดเลือกรอบแรกเปลี่ยนอันดับสุดท้ายอย่างไร เมื่อรอบจัดอันดับใหม่ใช้คะแนนจากเอกสารทั้งชุดเสมอ [การทดสอบการคัดเลือกรอบแรก](https://sapien1.com/th/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| การคัดเลือกรอบแรก | อันดับสุดท้ายในการแบ่งแบบเดิม | อันดับสุดท้ายหลังสลับเอกสารประกอบสองครั้ง |
| --- | --- | --- |
| BM25 แยกตามส่วน เลือกส่วนละหนึ่งรายการ | C, A | B, C |
| BM25 แยกตามส่วน เลือกไม่เกินสองรายการต่อส่วน | B, C, A | B, C, A |
| BM25 จากเอกสารทั้งชุด เลือกส่วนละหนึ่งรายการ | B, C | B, C |

ในแถวแรก เมื่อใช้การแบ่งดัชนีแบบเดิม B หลุดจากรายชื่อก่อนรอบจัดอันดับใหม่ ให้ตรวจสอบว่าเอกสารใดได้คะแนนและคิดคะแนนอย่างไร หากเอกสารหายไปจากรายชื่อที่ส่งเข้ารอบจัดอันดับใหม่ ให้ทดสอบการคัดเลือกรอบแรกอีกครั้ง หากรายชื่อเหมือนเดิมแต่อันดับต่างกัน ให้เปรียบเทียบคะแนนรอบสุดท้ายและกติกาเมื่อคะแนนเท่ากัน
