ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีสร้างอันดับ BM25 ให้ได้ผลเดิมหลังเปลี่ยนดัชนี

ภาษาของบทความ: ไทย

บันทึกเอกสารที่ใช้คำนวณสถิติ BM25 รหัสเอกสารที่มีสิทธิ์เป็นผลการค้นหา และรหัสที่ส่งต่อระหว่างรอบจัดอันดับ ข้อมูลนี้ช่วยให้เห็นว่าจุดที่เปลี่ยนคือค่าน้ำหนักของคำค้น คะแนนในแต่ละส่วนของดัชนี หรือวิธีคัดเลือกเอกสาร ตัวอย่างใช้เอกสารสมมติที่แบ่งเป็นโทเค็นไว้แล้วและ rank-bm25 เวอร์ชัน 0.2.2 โค้ดคำนวณคะแนน

คะแนนคำนวณจากเอกสารชุดไหน

ใช้คำค้นและรหัสเอกสารที่มีสิทธิ์ชุดเดิมทดสอบกับเอกสารแต่ละชุดที่ใช้คิดคะแนน บันทึกเวอร์ชันของดัชนีหรือชุดเอกสาร วิธีประมวลผลคำค้น และการตั้งค่าการคิดคะแนน จากชุดที่ใช้คำนวณสถิติ ให้เปรียบเทียบจำนวนเอกสาร ความยาวเฉลี่ย และจำนวนเอกสารที่มีคำค้นแต่ละคำ

แม้จะเพิ่มเอกสารที่ไม่มีคำค้นเลย วิธีปรับคะแนนตามความยาวก็อาจเปลี่ยนได้ ในตัวอย่างหนึ่ง เมื่อเพิ่มเอกสารแบบนี้ ความยาวเฉลี่ยอาจต่ำกว่า 18 โทเค็นเล็กน้อย เท่ากับ 18 พอดี หรือสูงกว่าเล็กน้อย ถ้าต่ำกว่า 18 เอกสาร A จะนำ ถ้าเท่ากับ 18 จะเสมอกับ B และถ้าสูงกว่า 18 จะตามหลัง B เมื่อปิดการปรับคะแนนตามความยาว B จะนำทุกกรณี การทดสอบความยาวเฉลี่ย

การแก้ไขเอกสารอาจเปลี่ยนค่าน้ำหนักของคำค้นได้แม้ความยาวเฉลี่ยคงเดิม ในตัวอย่างที่มีเอกสารเก้าฉบับ การแก้เอกสารประกอบสองครั้งเพิ่มจำนวนฉบับที่มี red จากสองเป็นสี่ ส่วนจำนวนฉบับที่มี blue ยังคงเป็นสาม A ตรงกับ red และ B ตรงกับ blue ตอนแรก A นำ หลังแก้ครั้งแรก A เสมอกับ B และหลังแก้ครั้งที่สอง A ตามหลัง เอกสารผู้สมัครทั้งสองฉบับและความยาวเฉลี่ยสี่โทเค็นยังเหมือนเดิม การทดสอบความถี่ของคำ

แต่ละส่วนของดัชนีใช้เอกสารใดคำนวณสถิติ

ถ้าคำนวณคะแนนแยกตามส่วนของดัชนี ให้บันทึกว่าเอกสารผู้สมัครและเอกสารประกอบแต่ละฉบับอยู่ในส่วนใด แม้จะใช้เอกสารชุดเดิม การแบ่งดัชนีต่างจากเดิมก็อาจเปลี่ยนผลเปรียบเทียบคะแนนข้ามส่วนได้ ในตัวอย่างที่มีเอกสาร 18 ฉบับ การสลับเอกสารประกอบสองครั้งทำให้ B ขึ้นมานำแทน A เมื่อคิดคะแนนแยกตามส่วน เมื่อคำนวณคะแนนรวมกันโดยอิงเอกสารทั้งชุดที่ยังเหมือนเดิม B ได้คะแนนสูงกว่าในทุกแบบที่ทดสอบ การทดสอบการแบ่งดัชนี

เมื่อทดสอบการค้นหาที่กระจายไปหลายส่วนอีกครั้ง ให้ตรวจสอบโหมดการคำนวณคะแนนที่ตั้งไว้ ตัวอย่างเช่น เอกสารของ Elasticsearch อธิบายโหมดที่ใช้ความถี่ของคำจากส่วนปัจจุบันหรือจากทุกส่วน คะแนนข้างต้นมาจากตัวอย่าง Python API ค้นหาของ Elasticsearch

เอกสารไหนได้เข้าสู่รอบจัดอันดับใหม่

เปรียบเทียบรหัสก่อนและหลังตัดรายชื่อให้สั้นลง บันทึกวิธีคิดคะแนนในแต่ละรอบ จำนวนเอกสารที่ส่งต่อจากแต่ละส่วน และกติกาตัดสินเมื่อคะแนนเท่ากันหากมีผลต่อการคัดเลือก เลือกคำค้นทดสอบที่จัดอันดับเอกสารซึ่งมีสิทธิ์ได้ครบ แล้วใช้อันดับทั้งหมดดูว่าเอกสารใดมีโอกาสขึ้นอันดับแรกตามกติกาการคิดคะแนนรอบสุดท้าย

อีกตัวอย่างหนึ่งใช้เอกสาร 18 ฉบับ เมื่อคิดคะแนนจากเอกสารทั้งชุด ผู้สมัครเรียงตามลำดับ B, C, A ตารางแสดงว่าการคัดเลือกรอบแรกเปลี่ยนอันดับสุดท้ายอย่างไร เมื่อรอบจัดอันดับใหม่ใช้คะแนนจากเอกสารทั้งชุดเสมอ การทดสอบการคัดเลือกรอบแรก

การคัดเลือกรอบแรกอันดับสุดท้ายในการแบ่งแบบเดิมอันดับสุดท้ายหลังสลับเอกสารประกอบสองครั้ง
BM25 แยกตามส่วน เลือกส่วนละหนึ่งรายการC, AB, C
BM25 แยกตามส่วน เลือกไม่เกินสองรายการต่อส่วนB, C, AB, C, A
BM25 จากเอกสารทั้งชุด เลือกส่วนละหนึ่งรายการB, CB, C

ในแถวแรก เมื่อใช้การแบ่งดัชนีแบบเดิม B หลุดจากรายชื่อก่อนรอบจัดอันดับใหม่ ให้ตรวจสอบว่าเอกสารใดได้คะแนนและคิดคะแนนอย่างไร หากเอกสารหายไปจากรายชื่อที่ส่งเข้ารอบจัดอันดับใหม่ ให้ทดสอบการคัดเลือกรอบแรกอีกครั้ง หากรายชื่อเหมือนเดิมแต่อันดับต่างกัน ให้เปรียบเทียบคะแนนรอบสุดท้ายและกติกาเมื่อคะแนนเท่ากัน