BM25 순위를 재현하는 예
이 예제에는 가상의 문서와 검색어를 사용합니다. 점수를 계산하는 데 쓰는 문서 모음이 바뀌면 같은 후보의 점수도 달라질 수 있습니다. 첫 번째 선별에서 후보가 빠지면 재정렬 단계까지 가지 못할 수도 있습니다. 점수는 지정된 버전의 rank-bm25로 계산했습니다.
스크립트 다섯 개와 저장된 결과 다운로드(ZIP). README 파일에는 지정된 버전의 Python 패키지를 설치하고 실행 결과를 비교하는 방법이 나와 있습니다.
평균 문서 길이는 어떻게 바뀌었나요?
검색어에 들어 있는 단어가 하나도 없는 문서를 추가해도 점수 계산에 쓰이는 평균 길이가 달라질 수 있습니다. 이 예에서는 평균이 18토큰보다 짧으면 A가 앞서고, 18이면 A와 B의 점수가 같으며, 18보다 길면 A가 뒤처집니다. 길이 보정을 끈 비교 실험에서는 항상 B가 앞섭니다.
어떤 문서가 검색어의 가중치를 바꿨나요?
가상의 문서 아홉 개 중 A는 red와, B는 blue와 일치합니다. 다른 문서를 두 차례 수정하면 red가 들어 있는 문서가 두 개에서 네 개로 늘어납니다. blue가 들어 있는 문서는 세 개로 유지됩니다. 처음에는 A가 앞서고, 첫 번째 수정 뒤에는 B와 동점이 되며, 두 번째 수정 뒤에는 뒤처집니다. 후보 문서와 네 토큰이라는 평균 길이는 그대로입니다.
어떤 문서가 각 샤드의 통계에 들어갔나요?
문서 18개를 사용한 이 예에서는 각 샤드가 자체 통계로 점수를 계산합니다. 다른 문서를 샤드 사이에서 두 차례 맞바꾸면 A와 B의 순서가 뒤집힙니다. 같은 문서 전체를 기준으로 점수를 한 번에 계산하면 시험한 모든 배치에서 B가 더 높은 점수를 받습니다. Elasticsearch 검색 API는 검색어 통계를 어떤 범위에서 가져올 수 있는지 설명합니다. 여기 나온 점수는 Python 예제에서 계산했습니다.
어떤 문서가 재정렬 단계에 들어갔나요?
문서 18개를 사용한 또 다른 예에서 모든 대상 후보의 점수를 계산하면 순서는 B, C, A입니다. 재정렬에는 전체 문서를 기준으로 계산한 같은 점수를 사용합니다. 어떤 후보가 그 단계에 들어가는지는 첫 번째 선별에서 결정됩니다.
첫 번째 후보 선별과 재정렬 결과
| 첫 번째 후보 선별 | 원래 최종 순위 | 배경 문서를 두 차례 맞바꾼 뒤의 최종 순위 |
| 샤드별 BM25로 샤드당 한 개 | C, A | B, C |
| 샤드별 BM25로 샤드당 최대 두 개 | B, C, A | B, C, A |
| 전체 문서에 대한 BM25로 샤드당 한 개 | B, C | B, C |