Bằng chứng để chọn bài kiểm tra đọc hiểu đa ngôn ngữ
Các kiểm tra này so sánh câu hỏi và ngôn ngữ trong những phiên bản cụ thể của TyDi QA, XQuAD, MLQA và Belebele. Các số lượng phản ánh những tệp được dùng trong hướng dẫn.
Các tệp TyDi QA có chung những câu hỏi nào?
Chúng tôi đối chiếu các tệp phát triển theo ngôn ngữ, tiêu đề bài viết và nguyên văn câu hỏi. Mỗi dòng trong số 5,077 dòng Gold Passage đều khớp với một dòng trong số 18,670 dòng của bộ chính. Trong 9 ngôn ngữ chung, tệp Gold Passage bỏ qua 1,285 dòng của bộ chính mà ít nhất một người gán nhãn đã đánh dấu là có câu trả lời dạng văn bản. Tệp phát triển của bộ chính có tiếng Nhật và tiếng Thái, còn tệp Gold Passage không có dòng nào thuộc 2 ngôn ngữ này.
Để so sánh toàn bộ bài viết với một đầu vào ngắn hơn, yêu cầu cùng một mô hình đưa ra câu trả lời dạng văn bản 2 lần. Sao chép nguyên văn đoạn ngắn hơn từ bài viết. Giữ nguyên các thiết lập, câu hỏi, định dạng câu trả lời, các câu trả lời được chấp nhận và quy tắc chấm điểm. Kiểm tra xem mỗi câu trả lời được chấp nhận có xuất hiện trong cả hai đầu vào hay không. Nếu dùng Gold Passage như được cung cấp, hãy kiểm tra đoạn trích và danh sách câu trả lời của đoạn đó. Việc đối chiếu theo câu hỏi xác định những câu hỏi chung giữa các tệp. Nội dung đoạn văn và các câu trả lời được chấp nhận có thể khác nhau.
Trong cả hai phép đánh giá bộ chính và Gold Passage, các tác giả đều không tính tiếng Anh vào điểm trung bình chung.
Số lượng theo ngôn ngữ (JSON) · Tập lệnh so sánh (Python) · Tệp phát triển của bộ chính ở phiên bản cố định · Tệp phát triển Gold Passage ở phiên bản cố định · Quy tắc chấm điểm chính thức
Lưu 2 tệp nguồn với tên primary.parquet và gold.parquet. Lưu tập lệnh và tệp số lượng trong cùng thư mục, sau đó chạy phép so sánh. Tập lệnh xác minh mã băm của 2 tệp đầu vào trước khi đọc.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Những câu hỏi XQuAD nào đến từ SQuAD?
Cả 1,190 ID XQuAD tiếng Anh đều khớp với các câu hỏi trong tệp phát triển SQuAD 1.1. Với những ID này, tiêu đề bài viết, đoạn văn và nội dung câu hỏi khớp hoàn toàn. Cả 12 tệp trong phiên bản XQuAD mà chúng tôi kiểm tra đều dùng chung các ID, kể cả tệp tiếng Romania được bổ sung sau bản phát hành đầu tiên.
Số lượng và kết quả đối chiếu câu hỏi (JSON) · Bài báo XQuAD gốc · Phiên bản XQuAD cố định · Tệp phát triển SQuAD ở phiên bản cố định
Điều gì không đổi khi câu hỏi MLQA chuyển sang ngôn ngữ khác?
Bốn tệp phát triển tiếng Anh–tiếng Việt có chung 511 ID câu hỏi. Khi chuyển câu hỏi từ tiếng Anh sang tiếng Việt và giữ nguyên đoạn văn tiếng Anh, cả 511 câu hỏi đều thay đổi, còn các đoạn văn và danh sách câu trả lời được chấp nhận đều không thay đổi. Phép kiểm tra so sánh từng đoạn văn và danh sách có thứ tự các câu trả lời được chấp nhận, bao gồm cả các vị trí đã lưu. Dùng cùng các câu trả lời tiếng Anh để chấm điểm cả hai lượt chạy.
Số lượng từ phép so sánh tệp (JSON) · Tải xuống MLQA chính thức · Bài báo MLQA gốc
Bốn bộ tệp có những ngôn ngữ nào?
Chúng tôi đã kiểm tra các tệp phát triển của bộ chính và Gold Passage trong TyDi QA, bản phát hành XQuAD ở phiên bản cố định và các tệp phát triển MLQA dùng cùng một ngôn ngữ cho câu hỏi và đoạn văn. Tiếng Ả Rập và tiếng Anh là 2 ngôn ngữ duy nhất có trong cả 4 bộ. Tiếng Thái có trong bộ chính TyDi QA và XQuAD, nhưng không có trong Gold Passage.
Mã ngôn ngữ theo bộ tệp (JSON)
Tìm bài kiểm tra trắc nghiệm tiếng Thái ở đâu?
Belebele có một tệp tiếng Thái tên là tha_Thai.jsonl. Dùng tệp này cho các câu hỏi yêu cầu mô hình chọn 1 trong 4 đáp án sau khi đọc một đoạn văn.
Tệp tiếng Thái của nhóm tác giả ở phiên bản cố định · Bài báo Belebele gốc · Cách so sánh điểm đọc hiểu trắc nghiệm giữa các ngôn ngữ