Chuyển đến nội dung chính

Menu

Nghiên cứu

Cách tính lại và so sánh điểm chrF trên toàn bộ kho văn bản

Ngôn ngữ bài viết: Tiếng Việt

Để tính lại điểm chrF trên toàn bộ kho văn bản, hãy lưu tên và phiên bản của chỉ số, các tùy chọn và dữ liệu đầu vào chính xác. Lưu tệp dự đoán và danh sách các tệp tham chiếu theo đúng thứ tự, kèm mã kiểm tra của từng tệp. Giữ ID đoạn ổn định hoặc lưu thông tin cho biết mỗi dự đoán tương ứng với đoạn nào trong từng tệp tham chiếu.

Các ví dụ dùng văn bản giả định, hai đoạn và thiết lập chrF2 mặc định của SacreBLEU 2.6.0.

Dùng đúng thứ tự của lần đánh giá ban đầu

SacreBLEU chọn một tham chiếu riêng cho từng dự đoán. Công cụ dùng số đếm từ tham chiếu có điểm câu cao nhất và giữ tham chiếu đứng đầu nếu điểm bằng nhau hoàn toàn. Khi tính chrF2 cho toàn bộ kho văn bản, công cụ cộng các số đếm n-gram đã chọn trước khi tính điểm.

Trong ví dụ đầu, cả hai tham chiếu đều đạt 6.25 cho dự đoán đầu tiên của A. Số đếm n-gram của chúng khác nhau. Đổi chỗ hai tệp làm điểm của A trên toàn bộ kho văn bản giảm từ 79.03 xuống 39.48. B vẫn đạt 64.31 nên hệ thống dẫn đầu thay đổi. API và dòng lệnh cho cùng kết quả. Cả bốn lượt chạy có cùng chữ ký của chỉ số. Dùng các tệp theo thứ tự ban đầu để kiểm tra giá trị đã báo cáo.

So sánh hai hệ thống theo từng thứ tự có thể đã dùng

Nếu chưa chắc về thứ tự ban đầu, hãy ghi lại các thứ tự hợp lý rồi tính điểm cho cả hai hệ thống theo từng thứ tự. Tính chênh lệch trong mỗi lượt chạy trước khi tổng hợp khoảng chênh lệch.

Trong một ví dụ khác có ba tệp tham chiếu, điểm của A nằm trong khoảng 22.67 đến 79.03 và điểm của B nằm trong khoảng 16.33 đến 43.33. Hai khoảng này chồng lên nhau. Tuy vậy, trong cả sáu thứ tự dùng chung cho hai hệ thống, A dẫn từ 6.33 đến 35.69 điểm, tính từ điểm chưa làm tròn. Nếu hệ thống dẫn đầu thay đổi theo thứ tự, hãy báo cáo điều đó. Nếu vẫn cùng hệ thống dẫn đầu, hãy nêu các thứ tự chung cho kết luận đó. Tìm lại thứ tự ban đầu để kiểm tra giá trị gốc.

Tính lại điểm khi tham chiếu thay đổi

Tham chiếu mới có thể làm điểm một câu tăng trong khi chrF2 của toàn bộ kho văn bản giảm. Trong ví dụ thứ ba, thêm một tệp tham chiếu làm điểm câu đầu của A tăng từ 6.25 lên 6.94. Câu thứ hai vẫn đạt 100. Điểm trung bình theo câu của A tăng, nhưng điểm toàn bộ kho văn bản giảm từ 79.03 xuống 43.60. B vẫn đạt 64.31. Tham chiếu được thêm cho đoạn đầu có điểm câu cao hơn, và cả hai thứ tự đều cho cùng kết quả trên toàn bộ kho văn bản. Các số đếm được chọn làm thay đổi cả số mục trùng khớp lẫn mẫu số trong phép tính toàn bộ kho văn bản.

Khi tham chiếu thay đổi, hãy tính điểm cả hai hệ thống với đúng tệp và thứ tự của từng phiên bản. Giữ bốn kết quả cùng nhau để người đọc có thể so sánh trực tiếp hai hệ thống ở mỗi phiên bản và thấy tác động của thay đổi. Ghi rõ kết quả là chrF2 trên toàn bộ kho văn bản hay trung bình điểm các câu.

Chọn tham chiếu và tính điểm toàn bộ kho văn bản trong SacreBLEU 2.6.0