# Cách so sánh điểm đọc hiểu trắc nghiệm giữa các ngôn ngữ

Dùng cùng câu hỏi và quy tắc chấm điểm ở mọi ngôn ngữ. Kiểm tra các lựa chọn trùng nội dung và đoạn văn mà mô hình có thể đã gặp. Với Belebele, một bài đọc hiểu đa ngôn ngữ, chúng tôi chép số thứ tự của đáp án đúng trong từng tệp rồi sắp theo thứ tự câu hỏi tiếng Anh. Ghép theo số dòng của từng tệp cho điểm 73,55%. Ghép theo mã câu hỏi cho điểm 100%. [Thử lại cách chấm Belebele](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Ghép từng câu trả lời với đúng câu hỏi

Lưu ngôn ngữ, mã câu hỏi và số hoặc chữ cái của lựa chọn cùng mỗi câu trả lời. Cả 122 tệp Belebele có chung 900 mã câu hỏi, nhưng 52 tệp xếp câu hỏi theo thứ tự khác tệp tiếng Anh. Khi ghép theo số dòng, 9.838 câu trả lời ghép nhầm vẫn được tính điểm vì số thứ tự của lựa chọn tình cờ trùng nhau. [Kiểm tra thứ tự câu hỏi](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Kiểm tra xem hai lựa chọn có cùng nội dung không

Giả sử lựa chọn B và D đều ghi `12`, còn tệp đánh dấu B là đáp án đúng. Câu trả lời `12` cho bạn biết nội dung đáp án. Muốn chấm theo vị trí, bạn cần chữ cái của lựa chọn. Trong Belebele, có 148 dòng mà nội dung đáp án được đánh dấu xuất hiện ở nhiều lựa chọn. Khi chép nguyên văn đáp án đó, chọn mục khớp đầu tiên làm mất 16 điểm, còn chọn mục cuối cùng làm mất 133 điểm. Hãy quyết định chấm theo ký hiệu hay nội dung đáp án, rồi kiểm tra các lựa chọn theo đúng quy tắc đó. [Lựa chọn trùng nội dung](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## So sánh điểm trên cùng câu hỏi

Nếu chỉ bỏ 148 dòng trùng đáp án tại nơi chúng xuất hiện, mỗi ngôn ngữ còn từ 894 đến 899 câu hỏi. Muốn dùng cùng câu hỏi cho mọi ngôn ngữ, hãy bỏ cả 23 mã bị ảnh hưởng khỏi mỗi tệp. Khi đó còn 877 câu hỏi chung. Báo cáo số câu hỏi ban đầu và số câu đã chấm. [So sánh cách lọc câu hỏi](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Kiểm tra những đoạn văn mô hình có thể đã gặp

Nếu từng dùng tập phát triển FLORES-200 để tinh chỉnh mô hình, hãy kiểm tra xem Belebele có dùng lại các đoạn văn đó không. Trong tệp tiếng Anh, 513 câu hỏi dẫn đến các trang thuộc tập phát triển. Với 417 câu, ghép các câu trong FLORES cho ra đúng đoạn văn trong Belebele. Số lượt khớp hoàn toàn khác nhau giữa 116 tệp ngôn ngữ và hệ chữ viết còn lại có trong cả hai bộ dữ liệu. Kiểm tra nội dung ở ngôn ngữ bạn định đánh giá. [Đoạn văn tiếng Anh được dùng lại](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Đoạn văn dịch được dùng lại](https://sapien1.com/vi/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
