Penyelidikan
Cara menghasilkan semula kedudukan BM25 selepas indeks berubah
Simpan dokumen yang digunakan untuk mengira statistik BM25, ID yang layak muncul dalam carian dan ID yang diteruskan antara peringkat pemeringkatan. Ini membantu mengesan perubahan pada pemberat istilah, skor bahagian atau pilihan calon. Contoh menggunakan dokumen rekaan yang sudah dipecahkan kepada token dan rank-bm25 0.2.2. Pelaksanaan pemarkahan
Semak koleksi yang digunakan untuk mengira skor
Jalankan semula pertanyaan yang sama dengan ID layak yang sama untuk setiap koleksi yang membekalkan statistik. Simpan versi indeks atau korpus, cara pertanyaan dianalisis dan tetapan pemarkahan. Dalam skop yang membekalkan statistik, bandingkan saiz koleksi, purata panjang dokumen dan bilangan dokumen yang mengandungi setiap istilah pertanyaan.
Menambah dokumen yang tidak sepadan dengan pertanyaan boleh mengubah pelarasan skor mengikut panjang. Dalam satu contoh, penambahan itu meletakkan purata sedikit di bawah 18 token, tepat pada 18 atau sedikit melebihi 18. A mendahului di bawah 18, seri dengan B pada 18 dan ketinggalan apabila melebihi 18. B sentiasa mendahului apabila pelarasan panjang dimatikan. Ujian purata panjang dokumen
Suntingan juga boleh mengubah pemberat istilah pada purata panjang yang tetap. Dalam contoh sembilan dokumen, dua suntingan dokumen latar menambah bilangan dokumen yang mengandungi red daripada dua kepada empat. Bilangan dokumen yang mengandungi blue kekal tiga. A sepadan dengan red dan B dengan blue. A mula-mula mendahului, seri dengan B selepas suntingan pertama dan ketinggalan selepas suntingan kedua. Dua calon dan purata empat token kekal sama. Ujian kekerapan istilah
Semak dokumen yang membekalkan statistik bagi setiap bahagian
Untuk pengiraan setempat, catat bahagian bagi dokumen latar dan calon. Membina semula korpus yang sama dengan susun atur berbeza boleh mengubah perbandingan skor antara bahagian. Dalam contoh 18 dokumen, dua pertukaran dokumen latar membuatkan B mengatasi A dalam pengiraan setempat. Satu pengiraan untuk seluruh koleksi yang sama memberikan B skor lebih tinggi dalam setiap susun atur yang diuji. Ujian susun atur bahagian indeks
Apabila mengulang carian teragih, semak mod pemarkahan yang ditetapkan. Elasticsearch, misalnya, menerangkan mod yang menggunakan kekerapan daripada bahagian semasa atau daripada semua bahagian. Skor di atas datang daripada contoh Python. API carian Elasticsearch
Semak calon yang masuk ke pemeringkatan semula
Bandingkan ID sebelum dan selepas had senarai awal. Catat kaedah pemarkahan setiap peringkat, bilangan hasil yang diambil bagi setiap bahagian dan aturan pemutus seri jika skor yang sama boleh mengubah pilihan. Untuk pertanyaan ujian yang mudah disemak, susun semua calon yang layak mengikut aturan pemeringkatan semula sebagai rujukan untuk mengenal pasti calon yang boleh mendahului.
Dalam contoh lain yang melibatkan 18 dokumen, pengiraan bagi seluruh koleksi meletakkan calon yang layak dalam susunan B, C, A. Jadual menunjukkan kesan pemilihan awal terhadap susunan akhir apabila pemeringkatan semula sentiasa menggunakan skor seluruh koleksi. Ujian pilihan awal
| Pilihan awal | Susunan akhir asal | Susunan akhir selepas dua pertukaran dokumen latar |
|---|---|---|
| BM25 setempat, satu setiap bahagian | C, A | B, C |
| BM25 setempat, sehingga dua setiap bahagian | B, C, A | B, C, A |
| BM25 seluruh koleksi, satu setiap bahagian | B, C | B, C |
Pada baris pertama, B tersingkir sebelum pemeringkatan semula dalam susun atur asal. Perbandingan ini membezakan perubahan pada calon yang diberi skor daripada perubahan cara calon akhir diberi skor. Jika calon tidak masuk ke pemeringkatan semula, ulang pilihan awal. Jika calonnya sama tetapi susunan berbeza, bandingkan skor pemeringkatan semula dan aturan pemutus seri.