Nghiên cứu
Cách kiểm tra mô hình có dùng đoạn văn hay không
Đặt cùng câu hỏi cho mô hình hai lần, một lần có đoạn văn và một lần không. Giữ nguyên câu hỏi, lựa chọn và cách chấm. So sánh điểm để xem đoạn văn giúp được bao nhiêu trên các câu đó. Với trắc nghiệm, thử thêm một lần chỉ đưa các lựa chọn. Trên toàn bộ bài Belebele, quy tắc luôn chọn đáp án ngắn nhất đạt 27,03%. Nếu đoán với xác suất như nhau cho mọi lựa chọn, điểm kỳ vọng là 25%. Kiểm tra độ dài đáp án trong Belebele
Mỗi lần chỉ thay đổi một thứ
| Mô hình nhận được gì | Cần so sánh gì |
|---|---|
| Đoạn văn, câu hỏi và lựa chọn | Tần suất trả lời đúng khi có đủ thông tin |
| Câu hỏi và lựa chọn | Tần suất trả lời đúng khi không có đoạn văn |
| Chỉ có các lựa chọn | Tần suất trả lời đúng chỉ dựa vào các lựa chọn |
Dùng cùng mô hình và thiết lập ở mỗi lượt. Đếm số câu từ sai thành đúng khi thêm đoạn văn và số câu đổi theo chiều ngược lại. Các con số này giải thích vì sao điểm tổng có thể thay đổi ít dù hai lượt trả lời đúng những câu khác nhau. Với bài trả lời tự do, so sánh hai lượt đầu mà không đưa các lựa chọn, rồi dùng cùng đáp án được chấp nhận để chấm.
Xem câu nào đổi từ đúng sang sai hoặc ngược lại
Giả sử mô hình trả lời đúng 70 trong 100 câu ở cả hai lượt. Khi ghép câu trả lời theo mã câu hỏi, có 62 câu đúng ở cả hai lượt và 22 câu sai ở cả hai. Việc thêm đoạn văn làm tám câu sai thành đúng và tám câu đúng thành sai. Điểm vẫn là 70%, nhưng bạn có thể xem lại 16 câu để biết đoạn văn giúp hay làm câu trả lời kém đi ở đâu.
Thử quy tắc đơn giản dựa trên từ trùng nhau
Nhóm tác giả Belebele đã tìm dấu hiệu gợi ý từ phần từ ngữ trùng nhau và độ dài đáp án. Họ cũng báo cáo điểm 28% trên 900 câu hỏi cho một mô hình chỉ xét những từ xuất hiện mà không xét thứ tự từ. Bài báo Belebele, mục 3.2 · Phụ lục A.6
Chúng tôi áp dụng một quy tắc cố định trên cùng 900 câu hỏi Belebele bằng tiếng Anh và tiếng Việt. Chúng tôi thử không có đoạn văn, có đoạn văn gốc, hoặc có đoạn văn từ trang khác. Với từng lựa chọn, chúng tôi tính tỷ lệ từ khác nhau của lựa chọn đó cũng xuất hiện trong câu hỏi hoặc đoạn văn được cung cấp. Khi không có đoạn văn, chỉ xét từ trong câu hỏi. Quy tắc chọn phương án có tỷ lệ cao nhất. Nếu nhiều lựa chọn cùng đứng đầu, chúng tôi chia đều một điểm và chỉ tính phần điểm của lựa chọn được đánh dấu là đúng. Với mỗi câu, đoạn văn thay thế tiếng Anh và tiếng Việt đến từ cùng một trang khác, bằng ngôn ngữ tương ứng. Mã nguồn · Kết quả
| Ngôn ngữ | Không có đoạn văn | Đoạn văn từ trang khác | Đoạn văn gốc |
|---|---|---|---|
| Tiếng Anh | 24.60% | 26.38% | 28.72% |
| Tiếng Việt | 25.98% | 24.80% | 27.17% |
Trong phép so sánh đầu tiên, đoạn văn gốc cho điểm cao nhất ở cả hai ngôn ngữ. Chúng tôi thử thêm 15 cách hoán đổi đoạn văn. Qua cả 16 lần, điểm tiếng Anh nằm trong khoảng 24,60% đến 27,89%, còn tiếng Việt từ 23,58% đến 27,84%. Đoạn văn gốc vượt cả 16 lần hoán đổi ở tiếng Anh và 15 lần ở tiếng Việt. Hãy thử vài đoạn thay thế để kết luận ít phụ thuộc vào trang được chọn. Kết quả tất cả lần hoán đổi
So với khi không có đoạn văn, đoạn văn gốc làm tăng điểm ở 311 câu tiếng Anh và 313 câu tiếng Việt. Nó làm giảm điểm ở 218 câu tiếng Anh và 234 câu tiếng Việt. Nếu so sánh quy tắc này với một mô hình, hãy chấm cả hai trên cùng câu hỏi.
Giữ nguyên câu hỏi và cách chấm
Lưu mã câu hỏi cùng mỗi câu trả lời. 122 tệp Belebele có chung 900 mã, nhưng 52 tệp xếp câu hỏi khác thứ tự tiếng Anh. Nếu loại câu hỏi có lựa chọn trùng nội dung, hãy bỏ cùng các mã khỏi mọi lượt đem so sánh. Lưu chữ cái của lựa chọn để bộ chấm phân biệt được hai lựa chọn có cùng nội dung. Thử lại phép ghép theo thứ tự câu hỏi · Lọc câu hỏi
Kiểm tra nội dung mô hình có thể đã gặp
Mô hình có thể trả lời đúng khi không có đoạn văn nhờ kiến thức sẵn có, manh mối trong câu hỏi hoặc các lựa chọn, hay do đoán. Nếu từng tinh chỉnh mô hình bằng tập phát triển FLORES-200 và giờ muốn kiểm tra trên Belebele, bạn có thể loại các câu hỏi từ những URL trong tập đó. Kiểm tra cả nội dung văn bản. Trong tệp gốc, chín câu hỏi từ URL khác vẫn chứa một câu của tập phát triển ở ít nhất một ngôn ngữ hoặc hệ chữ viết đã kiểm tra. Kiểm tra đoạn văn Belebele
Giữ nguyên đoạn văn khi đổi ngôn ngữ câu hỏi
Để biết việc đổi ngôn ngữ câu hỏi có làm thay đổi kết quả không, hãy chạy riêng phép so sánh đó. Trong các tệp MLQA tiếng Anh và tiếng Việt đã kiểm tra, 511 mã câu hỏi cho phép đổi ngôn ngữ câu hỏi mà vẫn giữ nguyên đoạn văn tiếng Anh và các đáp án được chấp nhận. Chấm cả hai lượt theo cùng một bộ đáp án tiếng Anh. Các câu hỏi MLQA đã ghép