# Cara memilih ujian pemahaman bacaan berbilang bahasa

Pilih ujian yang meminta model melakukan perkara yang diperlukan pengguna. Mencari petikan yang tepat, menjawab berdasarkan petikan yang diberi dan memahami soalan dalam bahasa lain ialah kemahiran berbeza. Uji satu demi satu untuk melihat langkah yang perlu disemak.

| Perkara yang mahu disemak | Ujian untuk bermula | Perkara yang dilakukan oleh model |
| --- | --- | --- |
| Bolehkah model mencari bahagian yang betul dalam artikel? | TyDiQA-SelectP | Memilih petikan daripada satu artikel atau menyatakan bahawa tiada petikan yang menjawab soalan. |
| Bolehkah model mencari perkataan yang menjawab soalan? | TyDiQA-GoldP | Mengambil perkataan jawapan daripada petikan yang mengandunginya. |
| Adakah model menjawab soalan yang sama dalam pelbagai bahasa? | XQuAD atau Belebele | Menjawab berdasarkan petikan terjemahan dalam XQuAD atau memilih satu daripada empat jawapan dalam Belebele. |
| Bolehkah model menjawab apabila soalan dan petikan berlainan bahasa? | MLQA | Mencari jawapan dalam petikan yang ditulis dalam bahasa lain. |

## Semak sama ada model boleh mencari jawapan

Gunakan TyDiQA-SelectP jika model perlu mencari petikan yang tepat dalam artikel. Gunakan TyDiQA-MinSpan jika model juga perlu memberikan jawapan ringkas, menjawab ya atau tidak, atau menyatakan artikel itu tiada jawapan. Soalan TyDi QA ditulis terus dalam setiap bahasa. [Penerangan tugasan TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

Untuk melihat sejauh mana petikan yang lebih pendek membantu, minta model yang sama memberikan jawapan bertulis dua kali. Berikan artikel penuh sekali dan petikan yang disalin tepat daripada artikel itu sekali. Kekalkan tetapan, soalan, format jawapan, jawapan yang diterima dan peraturan pemarkahan. Pastikan setiap jawapan yang diterima muncul dalam kedua-dua teks. Jika menggunakan entri Gold Passage seperti yang disediakan, semak petikan dan senarai jawapannya. Kedua-dua fail boleh mengandungi soalan yang sama walaupun petikan atau jawapan yang diterima berbeza. Fail pembangunan TyDi QA boleh membantu menyediakan perbandingan. Kesemua 5,077 soalan Gold Passage turut muncul dalam set utama yang mengandungi 18,670 soalan. Gold Passage mengecualikan bahasa Jepun dan Thai serta 1,285 soalan dengan jawapan bertulis yang ditandakan dalam sembilan bahasa yang dikongsi oleh kedua-dua fail. Padankan soalan mengikut bahasa, tajuk artikel dan kata-kata soalan yang tepat sama. Gunakan hanya pasangan yang sepadan secara unik. [Perbandingan soalan TyDi QA](https://sapien1.com/ms/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## Gunakan soalan yang sama apabila membandingkan bahasa

XQuAD memberikan terjemahan soalan dan petikan yang sama kepada model. Kesemua 1,190 soalan bahasa Inggeris datang daripada set pembangunan SQuAD 1.1. Fail terjemahan yang disemak menggunakan ID soalan yang sama. Jika set pembangunan SQuAD digunakan untuk melaras model, semak soalan yang bertindih sebelum menganggap XQuAD sebagai ujian dengan soalan baharu. [Makalah asal XQuAD](https://aclanthology.org/2020.acl-main.421/) · [Semakan soalan yang digunakan semula](https://sapien1.com/ms/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

Gunakan Belebele apabila model perlu memilih satu daripada empat jawapan. Kesemua 122 fail mengikut bahasa dan sistem tulisan berkongsi 900 ID soalan. Simpan nombor atau huruf pilihan yang dipilih. Dua pilihan boleh mempunyai teks yang sama, maka teks sahaja mungkin tidak dapat menunjukkan pilihan model. Jika soalan yang terlibat dikeluarkan, gunakan ID yang sama bagi soalan yang masih tinggal dalam setiap bahasa yang dibandingkan. [Membandingkan skor bacaan merentas bahasa](https://sapien1.com/ms/research/cross-language-reading-scores)

## Tukar bahasa soalan dan kekalkan petikan

Gunakan MLQA jika, misalnya, penutur bahasa Vietnam mungkin bertanya tentang dokumen dalam bahasa Inggeris. Dalam fail pembangunan MLQA bahasa Inggeris dan Vietnam yang disemak, 511 soalan bersama boleh ditanya dalam kedua-dua bahasa dengan petikan bahasa Inggeris dan jawapan yang diterima dikekalkan tepat sama. Nilai kedua-dua ujian dengan jawapan bahasa Inggeris yang sama. Ini menunjukkan apa yang berubah apabila bahasa soalan ditukar. [Makalah asal MLQA](https://aclanthology.org/2020.acl-main.653/) · [Perbandingan fail bahasa Inggeris dan Vietnam](https://sapien1.com/ms/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

Untuk menyemak secara berasingan sejauh mana petikan membantu, tanya soalan yang sama dengan dan tanpa petikan. [Semak sama ada model menggunakan petikan](https://sapien1.com/ms/research/does-the-model-use-the-passage)

## Semak sama ada ujian meliputi bahasa yang diperlukan

Untuk bahasa Thai, gunakan TyDiQA-SelectP bagi menyemak sama ada model menemui petikan yang betul, XQuAD bagi menyemak sama ada model menemui perkataan jawapan dalam petikan yang diberi, atau Belebele bagi menyemak sama ada model memilih jawapan yang betul. Fail pembangunan TyDiQA-GoldP tidak mempunyai soalan bahasa Thai. Bahasa Arab dan Inggeris sahaja terdapat dalam keempat-empat set yang dibandingkan: TyDi QA utama, TyDi QA Gold Passage, XQuAD dan fail pembangunan MLQA dengan soalan dan petikan dalam bahasa yang sama. [Semakan liputan bahasa](https://sapien1.com/ms/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Fail bahasa Belebele](https://sapien1.com/ms/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

Semasa melaporkan skor, nyatakan tugasan, bahasa dan bilangan soalan yang digunakan bagi setiap skor. Sebagai contoh, kedua-dua kaedah pemarkahan rasmi TyDi QA mengecualikan bahasa Inggeris daripada purata keseluruhan walaupun bahasa itu ada dalam fail. [Dokumentasi pemarkahan TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
