Przykłady odtwarzania kolejności wyników BM25

Przykłady wykorzystują fikcyjne dokumenty i zapytania. Pokazują, jak punkty tych samych kandydatów mogą się zmienić po zmianie zbioru użytego do obliczeń i jak kandydat może odpaść już przy pierwszym wyborze. Do obliczeń służy wskazana wersja rank-bm25.

Pobierz pięć skryptów i zapisane wyniki (ZIP). Plik README wyjaśnia, jak zainstalować wskazane wersje pakietów Pythona i porównać otrzymane wyniki.

Jak zmieniła się średnia długość dokumentów?

Nawet dodanie dokumentu bez żadnego słowa z zapytania może zmienić średnią długość używaną do obliczania punktów. W tym przykładzie A prowadzi przy średniej poniżej 18 tokenów, remisuje z B przy 18 i przegrywa powyżej 18. W próbie kontrolnej z wyłączoną korektą za długość B prowadzi we wszystkich przypadkach.

Które dokumenty zmieniły wagę słów?

W zbiorze dziewięciu fikcyjnych dokumentów A pasuje do red, a B do blue. Dwie zmiany w pozostałych dokumentach zwiększają liczbę dokumentów z red z dwóch do czterech. Liczba dokumentów z blue pozostaje równa trzy. Najpierw prowadzi A, po pierwszej zmianie remisuje z B, a po drugiej spada za B. Kandydaci i średnia długość czterech tokenów pozostają bez zmian.

Które dokumenty liczą się w każdej części indeksu?

W tym przykładzie jest 18 dokumentów. Dwie zamiany pozostałych dokumentów między częściami indeksu odwracają kolejność A i B, gdy każda część oblicza punkty na podstawie własnych statystyk. Jedno obliczenie dla całego niezmienionego zbioru daje B wyższy wynik we wszystkich sprawdzonych układach. API wyszukiwania Elasticsearch opisuje, które części indeksu mogą dostarczać statystyk o słowach. Wyniki na tej stronie pochodzą z przykładu w Pythonie.

Które dokumenty trafiły do ponownej oceny?

W osobnym przykładzie z 18 dokumentami punktacja wszystkich dopuszczonych kandydatów daje kolejność B, C, A. Ponowna ocena opiera się na tych samych wynikach dla całego zbioru. Pierwszy wybór decyduje, którzy kandydaci trafią do ponownej oceny.

Pierwsza selekcja i wyniki ponownej oceny
Pierwsza selekcjaPierwotna kolejność końcowaKolejność końcowa po dwóch zamianach pozostałych dokumentów
Lokalne BM25, po jednym z każdej częściC, AB, C
Lokalne BM25, do dwóch z każdej częściB, C, AB, C, A
BM25 dla całego zbioru, po jednym z każdej częściB, CB, C