# Bằng chứng cho các hướng dẫn về bộ đánh giá đọc hiểu

Các phép kiểm tra này sử dụng các kho lưu trữ Belebele và FLORES-200 gốc cùng các tệp phát triển MLQA công khai. Mỗi câu hỏi trong Belebele có 4 lựa chọn trả lời. 122 tệp ngôn ngữ và hệ chữ trong tệp ZIP gốc có chung 900 mã câu hỏi. Trong các tệp này, mỗi mã kết hợp một URL nguồn với một số thứ tự câu hỏi. [Bài báo về Belebele](https://aclanthology.org/2024.acl-long.44/) · [Tải Belebele và xem định dạng](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Ghép từng câu trả lời với đúng câu hỏi

Chúng tôi sao chép số thứ tự của đáp án được đánh dấu từ mỗi tệp Belebele và sắp xếp theo thứ tự câu hỏi tiếng Anh. Có 52 tệp liệt kê câu hỏi theo thứ tự khác với tiếng Anh. Ghép các đáp án đã sao chép vào từng tệp theo số thứ tự dòng cho kết quả 73.55%. Ghép theo mã câu hỏi cho kết quả 100% trên 109,800 dòng. Khi ghép theo số thứ tự dòng, 38,876 câu trả lời được gán cho câu hỏi khác. Trong số đó, 9,838 câu vẫn được tính điểm vì số thứ tự đáp án trùng nhau.

## Kiểm tra xem hai lựa chọn có cùng nội dung không

Trong 148 dòng, có một lựa chọn khác có nội dung hoàn toàn giống với đáp án được đánh dấu. Chúng tôi đã sao chép nội dung đáp án được đánh dấu từ mỗi dòng. Việc gán lựa chọn đầu tiên có nội dung đó làm mất 16 điểm. Việc gán lựa chọn cuối cùng làm mất 133 điểm. Phép kiểm tra này so sánh chính xác nội dung như được lưu trong tệp ZIP gốc.

## Giữ nguyên bộ câu hỏi

Nếu chỉ xóa 148 dòng bị ảnh hưởng tại nơi chúng xuất hiện, mỗi tệp còn từ 894 đến 899 câu hỏi. Các dòng bị ảnh hưởng thuộc 23 mã câu hỏi khác nhau. Xóa cả 23 mã này khỏi mọi tệp thì mỗi tệp còn lại cùng 877 câu hỏi.

## Kiểm tra nguồn gốc các đoạn văn

Trong tệp tiếng Anh, 513 câu hỏi trỏ đến các trang thuộc tập phát triển FLORES-200 gốc. Với 417 câu hỏi trong số đó, việc nối các câu FLORES gốc theo thứ tự tái tạo chính xác đoạn văn Belebele. Số lượng đoạn trùng khớp hoàn toàn khác nhau giữa 116 tệp ngôn ngữ và hệ chữ còn lại có trong cả hai kho lưu trữ.

Chúng tôi cũng kiểm tra 45,279 dòng Belebele có URL thuộc tập `devtest` của FLORES-200 trên 117 tệp ngôn ngữ và hệ chữ có trong cả hai kho lưu trữ, bao gồm tiếng Anh. Có 9 mã câu hỏi khác nhau mà mỗi mã có một đoạn văn chứa đầy đủ một câu trong tập phát triển ở ít nhất 1 tệp. Phép kiểm tra đối chiếu URL nguồn và nội dung trùng khớp hoàn toàn trong các kho lưu trữ gốc. [Tài liệu FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Kho lưu trữ FLORES-200 gốc](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Kiểm tra quy tắc chọn đáp án ngắn nhất

Luôn chọn đáp án ngắn nhất đạt điểm 27.03% trên toàn bộ bài kiểm tra Belebele. Quy tắc này đếm ký tự sau khi chuẩn hóa các ký tự Unicode tương đương và khoảng trắng. Nếu nhiều lựa chọn cùng ngắn nhất, quy tắc chia đều 1 điểm cho các lựa chọn đó và chỉ tính phần của đáp án được đánh dấu. Việc đoán ngẫu nhiên với xác suất bằng nhau giữa 4 lựa chọn có điểm kỳ vọng là 25%. Các tác giả Belebele ban đầu đã dùng độ trùng lặp từ và độ dài đáp án để kiểm tra các manh mối. Họ cũng báo cáo kết quả 28% trên 900 câu hỏi của một mô hình sử dụng các từ mà không xét thứ tự của chúng. [Bài báo về Belebele, mục 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Phụ lục A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## So sánh điểm khi dùng đoạn văn

Chúng tôi sử dụng cùng 900 mã câu hỏi bằng tiếng Anh và tiếng Việt. Quy tắc chọn phương án có tỷ lệ từ riêng biệt xuất hiện trong câu hỏi hoặc đoạn văn được cung cấp cao nhất. Khi không có đoạn văn, quy tắc chỉ dùng câu hỏi. Các lựa chọn đồng điểm chia đều 1 điểm. Mỗi lượt chạy thay thế lấy đoạn văn từ một trang khác và dùng cùng trang nguồn thay thế cho cả hai ngôn ngữ.

| Ngôn ngữ | Không có đoạn văn | Đoạn văn thay thế đầu tiên | Đoạn văn tương ứng với câu hỏi | Khoảng điểm qua 16 lần thay thế |
| --- | ---: | ---: | ---: | ---: |
| Tiếng Anh | 24.60% | 26.38% | 28.72% | 24.60% đến 27.89% |
| Tiếng Việt | 25.98% | 24.80% | 27.17% | 23.58% đến 27.84% |

Đoạn văn tương ứng với câu hỏi đạt điểm cao hơn cả 16 đoạn thay thế ở tiếng Anh và cao hơn 15 đoạn thay thế ở tiếng Việt. So với khi không có đoạn văn, đoạn văn tương ứng làm tăng điểm ở 311 câu hỏi tiếng Anh và 313 câu hỏi tiếng Việt. Đoạn văn này làm giảm điểm ở 218 câu hỏi tiếng Anh và 234 câu hỏi tiếng Việt. [Mã đối chiếu từ](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Kết quả tổng hợp](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Thay đổi ngôn ngữ câu hỏi

Trong các tệp phát triển MLQA tiếng Anh và tiếng Việt, 511 mã câu hỏi xuất hiện trong cả 4 tổ hợp ngôn ngữ của câu hỏi và đoạn văn. Với các mã đó, khi đổi ngôn ngữ câu hỏi từ tiếng Anh sang tiếng Việt và giữ nguyên đoạn văn tiếng Anh, đoạn văn và danh sách đáp án được chấp nhận vẫn hoàn toàn giống nhau. Phép so sánh theo cách này chấm cả hai lượt chạy dựa trên cùng các đáp án tiếng Anh. [Bài báo về MLQA](https://aclanthology.org/2020.acl-main.653/) · [Cấu trúc tệp MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Lặp lại phép kiểm tra đối chiếu từ

Tải [tệp ZIP Belebele gốc](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [tập lệnh đối chiếu từ](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), [tập lệnh Python hỗ trợ](https://sapien1.com/research/reading-benchmark-evidence/check.py) và [kết quả tổng hợp đã lưu](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Đặt các tệp này trong cùng một thư mục. Tập lệnh xác minh mã băm của kho lưu trữ và đọc các tệp tiếng Anh và tiếng Việt. Tập lệnh báo cáo điểm theo đơn vị điểm, trong đó 12 đơn vị tương đương 1 câu trả lời đúng. Dùng Python 3.12 để lặp lại phép so sánh.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
