Nghiên cứu
Cách chọn bài kiểm tra đọc hiểu đa ngôn ngữ
Chọn bài kiểm tra yêu cầu mô hình làm đúng việc người dùng cần. Tìm đúng đoạn văn, trả lời dựa trên đoạn văn được cung cấp và hiểu câu hỏi bằng ngôn ngữ khác là những kỹ năng riêng. Kiểm tra từng kỹ năng để biết bước nào cần xem kỹ hơn.
| Bạn muốn kiểm tra gì? | Nên bắt đầu từ đâu? | Mô hình làm gì? |
|---|---|---|
| Mô hình có tìm được phần phù hợp trong bài viết không? | TyDiQA-SelectP | Chọn một đoạn trong bài viết hoặc cho biết không đoạn nào trả lời câu hỏi. |
| Mô hình có tìm được những từ dùng để trả lời không? | TyDiQA-GoldP | Trả về những từ chứa câu trả lời trong đoạn văn được cung cấp. |
| Mô hình có trả lời cùng một nhóm câu hỏi bằng nhiều ngôn ngữ không? | XQuAD hoặc Belebele | Trả lời dựa trên đoạn văn đã dịch trong XQuAD hoặc chọn một trong bốn đáp án trong Belebele. |
| Mô hình có trả lời được khi câu hỏi và đoạn văn dùng hai ngôn ngữ khác nhau không? | MLQA | Tìm câu trả lời trong đoạn văn viết bằng ngôn ngữ khác. |
Kiểm tra xem mô hình có tìm được câu trả lời không
Dùng TyDiQA-SelectP nếu mô hình cần tìm đúng đoạn trong bài viết. Dùng TyDiQA-MinSpan nếu mô hình còn cần trả lời ngắn, trả lời có hoặc không, hoặc cho biết bài viết không có câu trả lời. Các câu hỏi TyDi QA được viết trực tiếp bằng từng ngôn ngữ. Mô tả nhiệm vụ TyDi QA
Để biết đoạn ngắn hơn giúp được bao nhiêu, hãy yêu cầu cùng một mô hình viết câu trả lời hai lần. Một lần đưa cả bài viết, lần kia đưa một đoạn chép nguyên văn từ bài đó. Giữ nguyên thiết lập, câu hỏi, định dạng trả lời, đáp án được chấp nhận và cách chấm điểm. Kiểm tra xem từng đáp án được chấp nhận có xuất hiện trong cả hai văn bản không. Nếu dùng mục Gold Passage nguyên bản, hãy kiểm tra đoạn trích và danh sách đáp án. Hai tệp có thể chứa cùng câu hỏi dù đoạn văn hoặc đáp án được chấp nhận khác nhau. Có thể dùng các tệp phát triển của TyDi QA để chuẩn bị phép so sánh. Cả 5.077 câu hỏi Gold Passage cũng có trong tập chính gồm 18.670 câu hỏi. Gold Passage không có tiếng Nhật hay tiếng Thái và bỏ 1.285 câu hỏi có đáp án viết được đánh dấu trong chín ngôn ngữ chung. Ghép câu hỏi theo ngôn ngữ, tiêu đề bài viết và nguyên văn câu hỏi. Chỉ dùng các cặp khớp duy nhất. So sánh câu hỏi TyDi QA
Dùng cùng câu hỏi khi so sánh các ngôn ngữ
XQuAD đưa cho mô hình bản dịch của cùng câu hỏi và đoạn văn. 1.190 câu hỏi tiếng Anh đến từ tập phát triển SQuAD 1.1. Các tệp bản dịch đã kiểm tra dùng chung các mã câu hỏi đó. Nếu đã dùng tập phát triển SQuAD để tinh chỉnh mô hình, hãy kiểm tra câu hỏi trùng trước khi coi XQuAD là bài kiểm tra bằng câu hỏi mới. Bài báo gốc về XQuAD · Kiểm tra câu hỏi dùng lại
Dùng Belebele khi muốn mô hình chọn một trong bốn đáp án. 122 tệp theo ngôn ngữ và hệ chữ viết dùng chung 900 mã câu hỏi. Lưu số hoặc chữ cái của lựa chọn đã chọn. Hai lựa chọn có thể có cùng nội dung nên chỉ giữ nội dung thì có thể không biết mô hình chọn phương án nào. Nếu bỏ các câu hỏi có vấn đề này, hãy dùng cùng các mã còn lại cho mọi ngôn ngữ được so sánh. So sánh điểm đọc hiểu giữa các ngôn ngữ
Đổi ngôn ngữ câu hỏi và giữ nguyên đoạn văn
Dùng MLQA khi, chẳng hạn, một người nói tiếng Việt hỏi về tài liệu tiếng Anh. Trong các tệp phát triển tiếng Anh và tiếng Việt đã kiểm tra, có 511 câu hỏi chung có thể hỏi bằng một trong hai ngôn ngữ mà vẫn giữ nguyên chính xác đoạn văn tiếng Anh và đáp án được chấp nhận. Chấm cả hai lượt theo cùng bộ đáp án tiếng Anh để thấy điều gì thay đổi khi đổi ngôn ngữ câu hỏi. Bài báo gốc về MLQA · So sánh tệp tiếng Anh và tiếng Việt
Để kiểm tra riêng đoạn văn giúp được bao nhiêu, hãy hỏi cùng câu hỏi khi có và khi không có đoạn văn. Kiểm tra mô hình có dùng đoạn văn không
Kiểm tra xem bài kiểm tra có ngôn ngữ bạn cần không
Với tiếng Thái, dùng TyDiQA-SelectP để xem mô hình có tìm đúng đoạn, XQuAD để xem mô hình có tìm được từ ngữ trả lời trong đoạn được cung cấp, hoặc Belebele để xem mô hình có chọn đúng đáp án. Tệp phát triển TyDiQA-GoldP không có câu hỏi tiếng Thái. Tiếng Ả Rập và tiếng Anh là hai ngôn ngữ duy nhất có trong cả bốn nhóm tệp đã so sánh: TyDi QA chính, TyDi QA Gold Passage, XQuAD và các tệp phát triển MLQA có câu hỏi và đoạn văn cùng ngôn ngữ. Kiểm tra các ngôn ngữ được hỗ trợ · Các tệp ngôn ngữ của Belebele
Khi báo cáo điểm, hãy nêu tên nhiệm vụ, các ngôn ngữ và số câu hỏi dùng cho từng điểm. Ví dụ, cả hai cách chấm chính thức của TyDi QA đều loại tiếng Anh khỏi điểm trung bình chung dù tiếng Anh có trong các tệp. Tài liệu chấm điểm TyDi QA