본문으로 바로가기

메뉴

연구

인덱스 변경 후 BM25 순위를 재현하는 방법

언어: 한국어

BM25 통계 계산에 쓴 문서와 검색 대상이 될 수 있는 문서의 ID, 순위를 매기는 단계 사이에 전달한 ID를 저장하세요. 그러면 검색어의 가중치, 샤드별 점수, 후보 선별 중 무엇이 바뀌었는지 확인할 수 있습니다. 예제에서는 미리 토큰으로 나눈 가상의 문서와 rank-bm25 0.2.2를 사용합니다. 점수 계산 코드

어떤 문서로 점수를 계산했나요?

점수 계산에 쓰이는 문서 모음마다 같은 검색어와 같은 대상 ID로 검색을 다시 실행하세요. 인덱스 또는 문서 모음의 버전, 검색어를 처리한 방법, 점수 계산 설정을 기록하세요. 통계에 쓰인 문서 모음에서 문서 수, 평균 문서 길이, 검색어의 각 단어를 포함하는 문서 수를 비교하세요.

검색어와 일치하는 단어가 없는 문서를 추가해도 길이에 따른 점수 보정이 달라질 수 있습니다. 한 예에서는 그런 문서를 추가하자 평균 길이가 18토큰에 조금 못 미치거나, 정확히 18토큰이 되거나, 조금 넘어갑니다. 18보다 작으면 A가 앞서고, 18이면 A와 B의 점수가 같으며, 18보다 크면 A가 뒤처집니다. 길이 보정을 끄면 모든 경우에 B가 앞섭니다. 평균 길이 테스트

평균 길이가 같아도 문서를 편집하면 검색어의 가중치가 바뀔 수 있습니다. 문서 아홉 개를 사용한 예에서 배경 문서를 두 차례 수정하면 red가 들어 있는 문서는 두 개에서 네 개로 늘고 blue가 들어 있는 문서는 세 개로 유지됩니다. A는 red와, B는 blue와 일치합니다. 처음에는 A가 앞서고, 첫 번째 수정 뒤에는 B와 동점이 되며, 두 번째 수정 뒤에는 뒤처집니다. 후보 두 개와 네 토큰이라는 평균 길이는 그대로입니다. 검색어를 포함한 문서 수 테스트

각 샤드의 통계에 어떤 문서가 들어갔나요?

샤드별로 점수를 계산한다면 후보 문서와 배경 문서가 각각 어느 샤드에 들어갔는지 저장하세요. 같은 문서 모음을 다른 방식으로 배치하면 서로 다른 샤드에서 계산한 점수의 비교 결과가 바뀔 수 있습니다. 문서 18개를 사용한 예에서 배경 문서를 두 차례 맞바꾸자 샤드별 계산에서 A 대신 B가 앞섰습니다. 문서 구성은 그대로 두고 전체 문서로 한 번에 점수를 계산하면 시험한 모든 배치에서 B가 더 높은 점수를 받습니다. 샤드 배치 테스트

분산 검색을 재현할 때는 설정된 점수 계산 모드를 확인하세요. 예를 들어 Elasticsearch 문서는 현재 샤드 또는 모든 샤드의 검색어 빈도를 쓰는 모드를 설명합니다. 위의 점수는 Python 예제에서 계산했습니다. Elasticsearch 검색 API

어떤 후보가 재정렬 단계에 들어가나요?

후보 목록을 줄이기 전후의 ID를 비교하세요. 각 단계의 점수 계산 방법과 샤드마다 몇 개의 후보를 넘겼는지 기록하세요. 동점이 선별에 영향을 준다면 어떻게 순서를 정했는지도 기록하세요. 검색 대상 전체의 순위를 매길 수 있는 테스트 검색어를 골라 순위를 확인하면 최종 점수 규칙에서 어떤 후보가 1위가 될 수 있는지 알 수 있습니다.

문서 18개를 사용한 별도의 예에서 전체 문서를 기준으로 계산한 후보 순서는 B, C, A입니다. 재정렬 단계에서 항상 전체 문서를 기준으로 한 점수를 사용할 때 첫 번째 선별이 최종 순위에 미치는 영향을 표에서 볼 수 있습니다. 첫 번째 후보 선별 테스트

첫 번째 후보 선별원래 최종 순위배경 문서를 두 차례 맞바꾼 뒤의 최종 순위
샤드별 BM25로 샤드당 한 개C, AB, C
샤드별 BM25로 샤드당 최대 두 개B, C, AB, C, A
전체 문서에 대한 BM25로 샤드당 한 개B, CB, C

표의 첫 번째 줄을 보면 원래 배치에서는 B가 재정렬 전에 빠집니다. 어떤 후보에 점수를 매겼는지와 점수를 어떻게 계산했는지를 각각 확인하세요. 재정렬 대상에서 후보가 빠졌다면 첫 번째 선별을 다시 실행하세요. 후보가 같은데 순서가 다르면 최종 점수와 동점 처리 방식을 비교하세요.