Badania
Jak odtworzyć kolejność wyników BM25 po zmianie indeksu
Zapisz dokumenty użyte do obliczenia statystyk BM25, identyfikatory dokumentów, które można wybrać, i identyfikatory przekazywane między etapami. Dzięki temu ustalisz, czy zmieniły się wagi słów, wyniki punktowe w częściach indeksu czy sam wybór kandydatów. Przykłady wykorzystują fikcyjne dokumenty podzielone wcześniej na tokeny oraz rank-bm25 0.2.2. Kod obliczający punkty
Z jakich dokumentów obliczasz wynik?
Sprawdź to samo zapytanie i te same dopuszczone identyfikatory dla każdego zbioru używanego do obliczania punktów. Zapisz wersję indeksu lub zbioru, sposób przetwarzania zapytania i ustawienia punktacji. Porównaj liczbę dokumentów, ich średnią długość i liczbę dokumentów zawierających każdy wyraz z zapytania. Użyj zbioru, z którego pochodzą statystyki.
Nawet dokument bez słów z zapytania może zmienić sposób uwzględniania długości w punktacji. W jednym przykładzie dodanie takiego dokumentu daje średnią długość tuż poniżej 18 tokenów, równą 18 albo tuż powyżej. Poniżej 18 prowadzi A, przy 18 remisuje z B, a powyżej 18 przegrywa. Po wyłączeniu korekty za długość B prowadzi w każdym przypadku. Test średniej długości
Zmiany w dokumentach mogą wpłynąć na wagę słów nawet przy tej samej średniej długości. W przykładzie z dziewięcioma dokumentami dwie zmiany w pozostałych dokumentach zwiększają liczbę dokumentów z red z dwóch do czterech. Liczba dokumentów z blue pozostaje równa trzy. A pasuje do red, a B do blue. Najpierw prowadzi A, po pierwszej zmianie remisuje z B, a po drugiej spada za B. Obaj kandydaci i średnia długość czterech tokenów pozostają bez zmian. Test częstości występowania słów
Które dokumenty liczą się w każdej części indeksu?
Przy lokalnej punktacji zapisz, do której części indeksu należy każdy kandydat i każdy pozostały dokument. Inne rozłożenie tego samego zbioru może zmienić wynik porównania punktów z różnych części. W przykładzie z 18 dokumentami dwie zamiany pozostałych dokumentów sprawiają, że lokalnie zamiast A prowadzi B. Jedno obliczenie dla całego niezmienionego zbioru daje B wyższy wynik we wszystkich sprawdzonych układach. Test podziału indeksu
Przy powtarzaniu wyszukiwania rozproszonego sprawdź ustawiony tryb punktacji. Dokumentacja Elasticsearch opisuje na przykład tryby korzystające z częstości występowania słów w bieżącej części indeksu lub we wszystkich częściach. Wyniki powyżej pochodzą z przykładu w Pythonie. API wyszukiwania Elasticsearch
Którzy kandydaci trafiają do ponownej oceny?
Porównaj identyfikatory przed skróceniem listy i po nim. Zapisz sposób punktacji na każdym etapie, liczbę kandydatów przechodzących z każdej części oraz regułę rozstrzygania remisów, jeśli wpływa na selekcję. Wybierz zapytanie testowe, dla którego możesz uszeregować wszystkich dopuszczonych kandydatów. To punkt odniesienia, który pokaże, kto mógłby wygrać według końcowej reguły punktacji.
W osobnym przykładzie z 18 dokumentami punktacja dla całego zbioru daje kolejność B, C, A. Tabela pokazuje, jak pierwszy wybór wpływa na ostateczną kolejność, gdy ponowna ocena zawsze korzysta z całego zbioru. Test pierwszej selekcji
| Pierwsza selekcja | Pierwotna kolejność końcowa | Kolejność końcowa po dwóch zamianach pozostałych dokumentów |
|---|---|---|
| Lokalne BM25, po jednym z każdej części | C, A | B, C |
| Lokalne BM25, do dwóch z każdej części | B, C, A | B, C, A |
| BM25 dla całego zbioru, po jednym z każdej części | B, C | B, C |
W pierwszym wierszu B wypada przed ponowną oceną w pierwotnym układzie. Sprawdź osobno, kto otrzymał ocenę i jak ją obliczono. Jeśli na liście do ponownej oceny brakuje kandydata, powtórz pierwszy etap selekcji. Jeśli lista się zgadza, a kolejność jest inna, porównaj końcowe wyniki punktowe i sposób rozstrzygania remisów.