Langkau ke kandungan utama

Menu

Penyelidikan

Cara memilih ujian pemahaman bacaan berbilang bahasa

Bahasa: Bahasa Melayu

Pilih ujian yang meminta model melakukan perkara yang diperlukan pengguna. Mencari petikan yang tepat, menjawab berdasarkan petikan yang diberi dan memahami soalan dalam bahasa lain ialah kemahiran berbeza. Uji satu demi satu untuk melihat langkah yang perlu disemak.

Perkara yang mahu disemakUjian untuk bermulaPerkara yang dilakukan oleh model
Bolehkah model mencari bahagian yang betul dalam artikel?TyDiQA-SelectPMemilih petikan daripada satu artikel atau menyatakan bahawa tiada petikan yang menjawab soalan.
Bolehkah model mencari perkataan yang menjawab soalan?TyDiQA-GoldPMengambil perkataan jawapan daripada petikan yang mengandunginya.
Adakah model menjawab soalan yang sama dalam pelbagai bahasa?XQuAD atau BelebeleMenjawab berdasarkan petikan terjemahan dalam XQuAD atau memilih satu daripada empat jawapan dalam Belebele.
Bolehkah model menjawab apabila soalan dan petikan berlainan bahasa?MLQAMencari jawapan dalam petikan yang ditulis dalam bahasa lain.

Semak sama ada model boleh mencari jawapan

Gunakan TyDiQA-SelectP jika model perlu mencari petikan yang tepat dalam artikel. Gunakan TyDiQA-MinSpan jika model juga perlu memberikan jawapan ringkas, menjawab ya atau tidak, atau menyatakan artikel itu tiada jawapan. Soalan TyDi QA ditulis terus dalam setiap bahasa. Penerangan tugasan TyDi QA

Untuk melihat sejauh mana petikan yang lebih pendek membantu, minta model yang sama memberikan jawapan bertulis dua kali. Berikan artikel penuh sekali dan petikan yang disalin tepat daripada artikel itu sekali. Kekalkan tetapan, soalan, format jawapan, jawapan yang diterima dan peraturan pemarkahan. Pastikan setiap jawapan yang diterima muncul dalam kedua-dua teks. Jika menggunakan entri Gold Passage seperti yang disediakan, semak petikan dan senarai jawapannya. Kedua-dua fail boleh mengandungi soalan yang sama walaupun petikan atau jawapan yang diterima berbeza. Fail pembangunan TyDi QA boleh membantu menyediakan perbandingan. Kesemua 5,077 soalan Gold Passage turut muncul dalam set utama yang mengandungi 18,670 soalan. Gold Passage mengecualikan bahasa Jepun dan Thai serta 1,285 soalan dengan jawapan bertulis yang ditandakan dalam sembilan bahasa yang dikongsi oleh kedua-dua fail. Padankan soalan mengikut bahasa, tajuk artikel dan kata-kata soalan yang tepat sama. Gunakan hanya pasangan yang sepadan secara unik. Perbandingan soalan TyDi QA

Gunakan soalan yang sama apabila membandingkan bahasa

XQuAD memberikan terjemahan soalan dan petikan yang sama kepada model. Kesemua 1,190 soalan bahasa Inggeris datang daripada set pembangunan SQuAD 1.1. Fail terjemahan yang disemak menggunakan ID soalan yang sama. Jika set pembangunan SQuAD digunakan untuk melaras model, semak soalan yang bertindih sebelum menganggap XQuAD sebagai ujian dengan soalan baharu. Makalah asal XQuAD · Semakan soalan yang digunakan semula

Gunakan Belebele apabila model perlu memilih satu daripada empat jawapan. Kesemua 122 fail mengikut bahasa dan sistem tulisan berkongsi 900 ID soalan. Simpan nombor atau huruf pilihan yang dipilih. Dua pilihan boleh mempunyai teks yang sama, maka teks sahaja mungkin tidak dapat menunjukkan pilihan model. Jika soalan yang terlibat dikeluarkan, gunakan ID yang sama bagi soalan yang masih tinggal dalam setiap bahasa yang dibandingkan. Membandingkan skor bacaan merentas bahasa

Tukar bahasa soalan dan kekalkan petikan

Gunakan MLQA jika, misalnya, penutur bahasa Vietnam mungkin bertanya tentang dokumen dalam bahasa Inggeris. Dalam fail pembangunan MLQA bahasa Inggeris dan Vietnam yang disemak, 511 soalan bersama boleh ditanya dalam kedua-dua bahasa dengan petikan bahasa Inggeris dan jawapan yang diterima dikekalkan tepat sama. Nilai kedua-dua ujian dengan jawapan bahasa Inggeris yang sama. Ini menunjukkan apa yang berubah apabila bahasa soalan ditukar. Makalah asal MLQA · Perbandingan fail bahasa Inggeris dan Vietnam

Untuk menyemak secara berasingan sejauh mana petikan membantu, tanya soalan yang sama dengan dan tanpa petikan. Semak sama ada model menggunakan petikan

Semak sama ada ujian meliputi bahasa yang diperlukan

Untuk bahasa Thai, gunakan TyDiQA-SelectP bagi menyemak sama ada model menemui petikan yang betul, XQuAD bagi menyemak sama ada model menemui perkataan jawapan dalam petikan yang diberi, atau Belebele bagi menyemak sama ada model memilih jawapan yang betul. Fail pembangunan TyDiQA-GoldP tidak mempunyai soalan bahasa Thai. Bahasa Arab dan Inggeris sahaja terdapat dalam keempat-empat set yang dibandingkan: TyDi QA utama, TyDi QA Gold Passage, XQuAD dan fail pembangunan MLQA dengan soalan dan petikan dalam bahasa yang sama. Semakan liputan bahasa · Fail bahasa Belebele

Semasa melaporkan skor, nyatakan tugasan, bahasa dan bilangan soalan yang digunakan bagi setiap skor. Sebagai contoh, kedua-dua kaedah pemarkahan rasmi TyDi QA mengecualikan bahasa Inggeris daripada purata keseluruhan walaupun bahasa itu ada dalam fail. Dokumentasi pemarkahan TyDi QA