# Dizin değişikliğinden sonra BM25 sıralaması nasıl yeniden elde edilir?

BM25 istatistikleri için kullanılan belgeleri, aramaya girebilen belgelerin kimliklerini ve sıralama aşamaları arasında aktarılan kimlikleri kaydedin. Böylece değişikliğin terim ağırlıklarından, bölümlerdeki puanlardan veya aday seçiminden kaynaklanıp kaynaklanmadığını görebilirsiniz. Örneklerde önceden belirteçlere ayrılmış kurgusal belgeler ve `rank-bm25` 0.2.2 kullanılıyor. [Puanlama kodu](https://github.com/dorianbrown/rank_bm25/blob/2550648efdbdcc5ebadbc8e5c8b26f5eb94b2b36/rank_bm25.py#L30-L134)

## Puan hangi belgelere dayanıyor?

Aynı sorguyu aynı uygun kimliklerle, puanlamada kullanılan her belge koleksiyonu için yeniden çalıştırın. Dizin veya koleksiyon sürümünü, sorgunun nasıl işlendiğini ve puanlama ayarlarını kaydedin. İstatistiklerin alındığı koleksiyondaki belge sayısını, ortalama belge uzunluğunu ve her sorgu teriminin kaç belgede geçtiğini karşılaştırın.

Sorguyla eşleşmeyen bir belge bile puanın belge uzunluğuna göre nasıl ayarlandığını değiştirebilir. Bir örnekte böyle bir belge eklenince ortalama uzunluk 18 belirtecin hemen altına, tam 18 belirtece veya hemen üstüne gelir. 18'in altında A öndedir, 18'de B ile aynı puanı alır, 18'in üstünde geride kalır. Uzunluğa göre düzeltme kapatıldığında B her durumda öndedir. [Ortalama uzunluk denemesi](https://sapien1.com/tr/research/replay-bm25-ranking-evidence/evidence.html#collection-length)

Ortalama uzunluk sabitken de belge düzenlemeleri terim ağırlıklarını değiştirebilir. Dokuz belgeli örnekte, diğer belgelerde yapılan iki düzenleme `red` içeren belge sayısını ikiden dörde çıkarır. `blue` içeren belge sayısı üçte kalır. A, `red` ile ve B, `blue` ile eşleşir. Önce A öndedir, ilk düzenlemeden sonra B ile aynı puanı alır, ikinciden sonra geride kalır. İki aday ve dört belirteçlik ortalama uzunluk değişmez. [Terim sıklığı denemesi](https://sapien1.com/tr/research/replay-bm25-ranking-evidence/evidence.html#term-frequency)

## Her dizin bölümünde hangi belgeler hesaba katılıyor?

Puanlar yerel olarak hesaplanıyorsa her adayın ve diğer belgelerin hangi dizin bölümünde bulunduğunu kaydedin. Aynı belge topluluğunu farklı biçimde dağıtmak, ayrı bölümlerden gelen puanların karşılaştırma sonucunu değiştirebilir. 18 belgeli bir örnekte, diğer belgeler arasında yapılan iki takas yerel puanlamada A'nın yerine B'yi öne geçirir. Değişmeyen koleksiyonun tamamı tek bir puanlama hesabında kullanıldığında B, denenen tüm dağılımlarda daha yüksek puan alır. [Bölüm dağılımı denemesi](https://sapien1.com/tr/research/replay-bm25-ranking-evidence/evidence.html#shard-statistics)

Dağıtık bir aramayı tekrarlarken hangi puanlama modunun kullanıldığını kontrol edin. Örneğin Elasticsearch belgeleri, terim sıklığını mevcut dizin bölümünden veya tüm bölümlerden alan modları açıklar. Yukarıdaki puanlar Python örneğinden geliyor. [Elasticsearch arama API'si](https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-msearch)

## Hangi adaylar yeniden sıralamaya giriyor?

Aday listesi kısaltılmadan önceki ve sonraki kimlikleri karşılaştırın. Her aşamada kullanılan puanlama yöntemini, her bölümden kaç adayın ilerleyebildiğini ve seçimi etkiliyorsa eşit puanların nasıl ele alındığını kaydedin. Tüm uygun adayları sıralayabildiğiniz bir test sorgusu seçin ve tam listeyi çıkarın. Böylece son puanlama kuralına göre kimin kazanabileceğini görebilirsiniz.

18 belgeli ayrı bir örnekte, tüm koleksiyon üzerinden hesaplanan puanlar B, C, A sırasını verir. Yeniden sıralamada her seferinde tüm koleksiyona göre hesaplanan puanlar kullanıldığında ilk seçimin son sırayı nasıl etkilediği tabloda görülüyor. [İlk seçim denemesi](https://sapien1.com/tr/research/replay-bm25-ranking-evidence/evidence.html#shard-shortlist)

| İlk seçim | Başlangıçtaki son sıralama | Diğer belgeler iki kez takas edildikten sonraki son sıralama |
| --- | --- | --- |
| Yerel BM25, bölüm başına bir aday | C, A | B, C |
| Yerel BM25, bölüm başına en fazla iki aday | B, C, A | B, C, A |
| Tüm koleksiyonda BM25, bölüm başına bir aday | B, C | B, C |

İlk satırdaki başlangıç dağılımında B, yeniden sıralamadan önce elenir. Hangi adayların puanlandığını ve puanların nasıl hesaplandığını ayrı ayrı kontrol edin. Yeniden sıralamaya giren adaylardan biri eksikse ilk seçimi tekrar çalıştırın. Adaylar aynı olduğu hâlde sıra değişiyorsa son puanları ve eşit puanların nasıl ele alındığını karşılaştırın.
