Ví dụ tái lập thứ hạng BM25

Các ví dụ dùng tài liệu và truy vấn giả định. Chúng cho thấy vì sao cùng một ứng viên có thể nhận điểm khác khi tập tài liệu dùng để tính điểm thay đổi, và vì sao ứng viên có thể bị loại ngay ở lượt chọn đầu, trước bước xếp hạng lại. Các phép tính dùng phiên bản rank-bm25 đã được ấn định.

Tải năm tập lệnh và kết quả đã lưu (ZIP). Tệp README hướng dẫn cài đúng phiên bản các gói Python cần thiết và so sánh kết quả khi chạy lại.

Độ dài trung bình của tài liệu thay đổi thế nào?

Thêm một tài liệu không chứa từ nào trong truy vấn vẫn có thể làm thay đổi độ dài trung bình dùng để tính điểm. Trong ví dụ này, A dẫn trước khi độ dài trung bình dưới 18 token, bằng điểm B ở 18 và tụt lại khi trên 18. Trong phép thử đối chứng tắt điều chỉnh theo độ dài, B luôn dẫn trước.

Tài liệu nào làm thay đổi trọng số của từ?

Trong tập gồm chín tài liệu giả định, A khớp với red và B khớp với blue. Hai lần chỉnh sửa các tài liệu khác làm số tài liệu chứa red tăng từ hai lên bốn. Số tài liệu chứa blue vẫn là ba. A dẫn trước lúc đầu, bằng điểm B sau lần chỉnh sửa đầu và tụt lại sau lần thứ hai. Các ứng viên và độ dài trung bình bốn token đều giữ nguyên.

Những tài liệu nào được tính vào thống kê của từng phân đoạn?

Trong ví dụ có 18 tài liệu này, hai lần hoán đổi tài liệu nền giữa các phân đoạn làm đảo thứ tự A và B khi mỗi phân đoạn dùng thống kê riêng để tính điểm. Một phép tính trên toàn bộ tập tài liệu chưa đổi cho B điểm cao hơn trong mọi cách chia đã thử. API tìm kiếm Elasticsearch mô tả các phạm vi có thể dùng để lấy thống kê từ. Điểm ở đây đến từ ví dụ Python.

Tài liệu nào đến được bước xếp hạng lại?

Trong một ví dụ khác với 18 tài liệu, điểm của tất cả ứng viên đủ điều kiện cho thứ tự B, C, A. Bước xếp hạng lại dùng đúng các điểm tính trên toàn bộ tập tài liệu đó. Lượt chọn đầu quyết định ứng viên nào đi tiếp.

Lượt chọn đầu và kết quả xếp hạng lại
Chọn ở lượt đầuThứ tự cuối ban đầuThứ tự cuối sau hai lần hoán đổi tài liệu nền
BM25 cục bộ, một kết quả mỗi phân đoạnC, AB, C
BM25 cục bộ, tối đa hai kết quả mỗi phân đoạnB, C, AB, C, A
BM25 trên toàn bộ tập tài liệu, một kết quả mỗi phân đoạnB, CB, C