Lewati ke konten utama

Menu

Riset

Cara mengulang peringkat BM25 setelah indeks berubah

Bahasa: Bahasa Indonesia

Simpan dokumen yang dipakai untuk menghitung statistik BM25, ID yang bisa muncul dalam hasil pencarian, dan ID yang diteruskan antar tahap pemeringkatan. Dengan itu, kamu bisa melacak perubahan bobot istilah, skor partisi, atau pemilihan kandidat. Contoh ini memakai dokumen rekaan yang sudah dipecah menjadi token dan rank-bm25 0.2.2. Implementasi penilaian

Periksa koleksi yang menjadi dasar skor

Jalankan ulang kueri yang sama dengan ID yang sama-sama memenuhi syarat pada setiap koleksi yang digunakan untuk menghitung skor. Simpan revisi indeks atau korpus, cara analisis kueri, dan pengaturan penilaian. Dalam cakupan yang menyediakan statistik, bandingkan ukuran koleksi, rata-rata panjang dokumen, dan jumlah dokumen yang memuat tiap istilah dalam kueri.

Menambahkan dokumen yang tidak cocok dengan kueri bisa mengubah penyesuaian skor menurut panjang. Dalam satu contoh, tambahan itu membuat rata-rata sedikit di bawah 18 token, tepat pada 18, atau sedikit di atas 18. A unggul di bawah 18, seri dengan B pada 18, dan tertinggal di atas 18. B selalu unggul saat penyesuaian panjang dimatikan. Uji ulang rata-rata panjang

Suntingan juga bisa mengubah bobot istilah tanpa mengubah rata-rata panjang. Dalam contoh dengan sembilan dokumen, dua perubahan pada dokumen latar menaikkan jumlah dokumen berisi red dari dua menjadi empat. Dokumen berisi blue tetap tiga. A cocok dengan red dan B cocok dengan blue. A awalnya unggul, seri dengan B setelah perubahan pertama, lalu tertinggal setelah perubahan kedua. Kedua kandidat dan rata-rata empat token tetap sama. Uji ulang frekuensi istilah

Periksa dokumen yang menyumbang statistik partisi

Jika skor dihitung secara lokal, catat partisi setiap kandidat dan dokumen latar. Membangun ulang korpus yang sama dengan susunan partisi berbeda bisa mengubah hasil membandingkan skor antarpartisi. Dalam contoh dengan 18 dokumen, dua pertukaran dokumen latar membuat B menyalip A pada skor lokal. Satu perhitungan pada seluruh koleksi yang tetap sama memberi B skor lebih tinggi dalam semua susunan yang diuji. Uji ulang susunan partisi

Untuk mengulang pencarian terdistribusi, periksa mode perhitungan skor yang disetel. Dokumentasi Elasticsearch, misalnya, menjelaskan mode yang memakai frekuensi dari partisi saat ini atau dari semua partisi. Skor di atas berasal dari contoh Python. API pencarian Elasticsearch

Periksa kandidat yang masuk ke pemeringkatan ulang

Bandingkan ID sebelum dan sesudah daftar awal dipotong. Catat metode penilaian setiap tahap, jumlah hasil yang diambil per partisi, dan aturan untuk skor seri jika dapat mengubah pilihan. Untuk kueri uji yang mudah diperiksa, urutkan semua kandidat yang memenuhi syarat dengan aturan pemeringkatan ulang sebagai acuan siapa yang bisa unggul.

Dalam contoh lain dengan 18 dokumen, skor seluruh koleksi mengurutkan kandidat yang memenuhi syarat sebagai B, C, A. Tabel menunjukkan pengaruh pilihan awal pada urutan akhir jika tahap pemeringkatan ulang selalu memakai skor seluruh koleksi. Uji ulang pemilihan awal

Pilihan awalUrutan akhir semulaUrutan akhir setelah dua pertukaran dokumen latar
BM25 lokal, satu per partisiC, AB, C
BM25 lokal, hingga dua per partisiB, C, AB, C, A
BM25 seluruh koleksi, satu per partisiB, CB, C

Pada baris pertama, B tersingkir sebelum pemeringkatan ulang dalam susunan semula. Perbandingan ini membedakan perubahan pada kandidat yang dinilai dari perubahan cara penilaian kandidat akhir. Jika ada kandidat yang tidak masuk ke pemeringkatan ulang, ulangi tahap pemilihan awal. Jika kandidatnya sama tetapi urutannya berbeda, bandingkan skor pemeringkatan ulang dan aturan untuk skor seri.