Ana içeriğe geç

Menü

Araştırma

Dizin değişikliğinden sonra BM25 sıralaması nasıl yeniden elde edilir?

Dil: Türkçe

BM25 istatistikleri için kullanılan belgeleri, aramaya girebilen belgelerin kimliklerini ve sıralama aşamaları arasında aktarılan kimlikleri kaydedin. Böylece değişikliğin terim ağırlıklarından, bölümlerdeki puanlardan veya aday seçiminden kaynaklanıp kaynaklanmadığını görebilirsiniz. Örneklerde önceden belirteçlere ayrılmış kurgusal belgeler ve rank-bm25 0.2.2 kullanılıyor. Puanlama kodu

Puan hangi belgelere dayanıyor?

Aynı sorguyu aynı uygun kimliklerle, puanlamada kullanılan her belge koleksiyonu için yeniden çalıştırın. Dizin veya koleksiyon sürümünü, sorgunun nasıl işlendiğini ve puanlama ayarlarını kaydedin. İstatistiklerin alındığı koleksiyondaki belge sayısını, ortalama belge uzunluğunu ve her sorgu teriminin kaç belgede geçtiğini karşılaştırın.

Sorguyla eşleşmeyen bir belge bile puanın belge uzunluğuna göre nasıl ayarlandığını değiştirebilir. Bir örnekte böyle bir belge eklenince ortalama uzunluk 18 belirtecin hemen altına, tam 18 belirtece veya hemen üstüne gelir. 18'in altında A öndedir, 18'de B ile aynı puanı alır, 18'in üstünde geride kalır. Uzunluğa göre düzeltme kapatıldığında B her durumda öndedir. Ortalama uzunluk denemesi

Ortalama uzunluk sabitken de belge düzenlemeleri terim ağırlıklarını değiştirebilir. Dokuz belgeli örnekte, diğer belgelerde yapılan iki düzenleme red içeren belge sayısını ikiden dörde çıkarır. blue içeren belge sayısı üçte kalır. A, red ile ve B, blue ile eşleşir. Önce A öndedir, ilk düzenlemeden sonra B ile aynı puanı alır, ikinciden sonra geride kalır. İki aday ve dört belirteçlik ortalama uzunluk değişmez. Terim sıklığı denemesi

Her dizin bölümünde hangi belgeler hesaba katılıyor?

Puanlar yerel olarak hesaplanıyorsa her adayın ve diğer belgelerin hangi dizin bölümünde bulunduğunu kaydedin. Aynı belge topluluğunu farklı biçimde dağıtmak, ayrı bölümlerden gelen puanların karşılaştırma sonucunu değiştirebilir. 18 belgeli bir örnekte, diğer belgeler arasında yapılan iki takas yerel puanlamada A'nın yerine B'yi öne geçirir. Değişmeyen koleksiyonun tamamı tek bir puanlama hesabında kullanıldığında B, denenen tüm dağılımlarda daha yüksek puan alır. Bölüm dağılımı denemesi

Dağıtık bir aramayı tekrarlarken hangi puanlama modunun kullanıldığını kontrol edin. Örneğin Elasticsearch belgeleri, terim sıklığını mevcut dizin bölümünden veya tüm bölümlerden alan modları açıklar. Yukarıdaki puanlar Python örneğinden geliyor. Elasticsearch arama API'si

Hangi adaylar yeniden sıralamaya giriyor?

Aday listesi kısaltılmadan önceki ve sonraki kimlikleri karşılaştırın. Her aşamada kullanılan puanlama yöntemini, her bölümden kaç adayın ilerleyebildiğini ve seçimi etkiliyorsa eşit puanların nasıl ele alındığını kaydedin. Tüm uygun adayları sıralayabildiğiniz bir test sorgusu seçin ve tam listeyi çıkarın. Böylece son puanlama kuralına göre kimin kazanabileceğini görebilirsiniz.

18 belgeli ayrı bir örnekte, tüm koleksiyon üzerinden hesaplanan puanlar B, C, A sırasını verir. Yeniden sıralamada her seferinde tüm koleksiyona göre hesaplanan puanlar kullanıldığında ilk seçimin son sırayı nasıl etkilediği tabloda görülüyor. İlk seçim denemesi

İlk seçimBaşlangıçtaki son sıralamaDiğer belgeler iki kez takas edildikten sonraki son sıralama
Yerel BM25, bölüm başına bir adayC, AB, C
Yerel BM25, bölüm başına en fazla iki adayB, C, AB, C, A
Tüm koleksiyonda BM25, bölüm başına bir adayB, CB, C

İlk satırdaki başlangıç dağılımında B, yeniden sıralamadan önce elenir. Hangi adayların puanlandığını ve puanların nasıl hesaplandığını ayrı ayrı kontrol edin. Yeniden sıralamaya giren adaylardan biri eksikse ilk seçimi tekrar çalıştırın. Adaylar aynı olduğu hâlde sıra değişiyorsa son puanları ve eşit puanların nasıl ele alındığını karşılaştırın.