Chuyển đến nội dung chính

Menu

Nghiên cứu

Cách tái lập thứ hạng BM25 sau khi thay đổi chỉ mục

Ngôn ngữ bài viết: Tiếng Việt

Lưu các tài liệu dùng để tính thống kê BM25, ID đủ điều kiện xuất hiện trong kết quả tìm kiếm và ID được chuyển giữa các bước xếp hạng. Nhờ đó, bạn có thể xác định điều gì đã đổi trong trọng số từ, điểm ở từng phân đoạn hoặc cách chọn ứng viên. Các ví dụ dùng tài liệu giả định đã tách thành token và rank-bm25 0.2.2. Mã tính điểm

Kiểm tra tập tài liệu dùng để tính điểm

Chạy lại cùng truy vấn với cùng các ID đủ điều kiện trên từng tập tài liệu dùng để tính điểm. Lưu phiên bản chỉ mục hoặc kho văn bản, cách phân tích truy vấn và thiết lập tính điểm. Trong phạm vi cung cấp thống kê, so sánh số tài liệu, độ dài trung bình và số tài liệu chứa từng từ trong truy vấn.

Thêm một tài liệu không khớp từ nào trong truy vấn vẫn có thể làm thay đổi cách điều chỉnh theo độ dài. Trong một ví dụ, tài liệu không khớp làm độ dài trung bình nằm ngay dưới 18 token, bằng 18 hoặc ngay trên 18. A dẫn trước khi dưới 18, bằng điểm B ở 18 và tụt lại khi trên 18. Khi tắt điều chỉnh theo độ dài, B luôn dẫn trước. Chạy lại phép thử độ dài trung bình

Chỉnh sửa cũng có thể làm đổi trọng số từ dù độ dài trung bình giữ nguyên. Trong ví dụ có chín tài liệu, hai chỉnh sửa ở tài liệu nền nâng số tài liệu chứa red từ hai lên bốn, trong khi số tài liệu chứa blue vẫn là ba. A khớp red và B khớp blue. A dẫn trước lúc đầu, bằng điểm B sau lần chỉnh sửa đầu và tụt lại sau lần thứ hai. Hai ứng viên và độ dài trung bình bốn token giữ nguyên. Chạy lại phép thử tần suất từ

Kiểm tra tài liệu nào cung cấp thống kê cho từng phân đoạn

Nếu tính điểm cục bộ, hãy lưu phân đoạn của cả tài liệu nền lẫn ứng viên. Dựng lại cùng kho văn bản nhưng chia phân đoạn khác đi có thể làm thay đổi kết quả so điểm giữa các phân đoạn. Trong một ví dụ có 18 tài liệu, hai lần hoán đổi tài liệu nền làm B vượt A khi dùng điểm cục bộ. Tính điểm trên toàn bộ tập tài liệu chưa đổi thì B có điểm cao hơn trong mọi cách chia đã thử. Chạy lại phép thử cách chia phân đoạn

Khi tái lập một lượt tìm kiếm phân tán, hãy kiểm tra chế độ tính điểm đã thiết lập. Chẳng hạn, tài liệu Elasticsearch mô tả các chế độ dùng tần suất của phân đoạn hiện tại hoặc của tất cả phân đoạn. Điểm ở trên lấy từ ví dụ Python. API tìm kiếm Elasticsearch

Kiểm tra ứng viên nào đến được bước xếp hạng lại

So sánh ID trước và sau khi cắt danh sách chọn ban đầu. Ghi lại cách tính điểm ở mỗi bước, số kết quả lấy ở mỗi phân đoạn và quy tắc xử lý đồng điểm nếu có thể ảnh hưởng đến lựa chọn. Với một truy vấn thử dễ kiểm tra, xếp hạng mọi ứng viên đủ điều kiện theo quy tắc xếp hạng lại để xem ứng viên nào có thể đứng đầu.

Trong một ví dụ khác có 18 tài liệu, khi tính điểm trên toàn bộ tập tài liệu, các ứng viên đủ điều kiện có thứ tự B, C, A. Bảng cho thấy lượt chọn đầu ảnh hưởng ra sao đến thứ tự cuối khi bước xếp hạng lại luôn dùng điểm tính trên toàn bộ tập. Chạy lại lượt chọn ban đầu

Chọn ở lượt đầuThứ tự cuối ban đầuThứ tự cuối sau hai lần hoán đổi tài liệu nền
BM25 cục bộ, một kết quả mỗi phân đoạnC, AB, C
BM25 cục bộ, tối đa hai kết quả mỗi phân đoạnB, C, AB, C, A
BM25 trên toàn bộ tập tài liệu, một kết quả mỗi phân đoạnB, CB, C

Ở hàng đầu tiên, cách chia ban đầu loại B trước bước xếp hạng lại. Phép so sánh này phân biệt việc đổi ứng viên được chấm với việc đổi cách chấm các ứng viên cuối. Nếu một ứng viên không đến được bước xếp hạng lại, hãy chạy lại lượt chọn đầu. Nếu các ứng viên giống nhau mà thứ tự khác, hãy so điểm xếp hạng lại và quy tắc xử lý đồng điểm.