Lewati ke konten utama

Menu

Riset

Cara memilih tes pemahaman bacaan multibahasa

Bahasa: Bahasa Indonesia

Pilih tes yang meminta model melakukan hal yang dibutuhkan pengguna. Menemukan bacaan yang tepat, menjawab berdasarkan bacaan yang diberikan, dan memahami pertanyaan dalam bahasa lain adalah kemampuan yang berbeda. Uji satu per satu untuk mengetahui langkah mana yang perlu diperiksa lebih lanjut.

Apa yang ingin diperiksa?Mulai dari mana?Apa yang dilakukan model?
Bisakah model menemukan bagian yang tepat dalam artikel?TyDiQA-SelectPMemilih bagian dari satu artikel atau menyatakan bahwa tidak ada bagian yang menjawab pertanyaan.
Bisakah model menemukan kata-kata yang menjawab pertanyaan?TyDiQA-GoldPMengambil kata-kata jawaban dari bacaan yang memuatnya.
Apakah model menjawab pertanyaan yang sama dalam berbagai bahasa?XQuAD atau BelebeleMenjawab berdasarkan bacaan terjemahan di XQuAD atau memilih satu dari empat jawaban di Belebele.
Bisakah model menjawab saat bahasa pertanyaan dan bacaan berbeda?MLQAMenemukan jawaban dalam bacaan yang ditulis dalam bahasa lain.

Periksa apakah model bisa menemukan jawaban

Gunakan TyDiQA-SelectP jika model perlu menemukan bagian yang tepat dalam artikel. Gunakan TyDiQA-MinSpan jika model juga perlu memberi jawaban singkat, menjawab ya atau tidak, atau menunjukkan bahwa artikelnya tidak memuat jawaban. Orang menulis pertanyaan TyDi QA langsung dalam tiap bahasa. Deskripsi tugas TyDi QA

Untuk mengetahui manfaat bacaan yang lebih pendek, minta model yang sama memberi jawaban tertulis dua kali. Berikan artikel lengkap pada percobaan pertama dan kutipan persis dari artikel itu pada percobaan lain. Gunakan pengaturan, pertanyaan, format jawaban, jawaban yang diterima, dan aturan penilaian yang sama. Periksa apakah setiap jawaban yang diterima muncul dalam kedua teks. Jika memakai entri Gold Passage apa adanya, periksa kutipan dan daftar jawabannya. Kedua berkas bisa memiliki pertanyaan yang sama meskipun bacaan atau jawaban yang diterima berbeda. Berkas pengembangan TyDi QA dapat membantu menyiapkan perbandingan ini. Semua 5.077 pertanyaan Gold Passage juga muncul dalam set utama yang berisi 18.670 pertanyaan. Gold Passage tidak mencakup bahasa Jepang dan Thai, dan tidak memuat 1.285 pertanyaan yang memiliki jawaban tertulis bertanda dalam sembilan bahasa yang sama-sama tersedia. Padankan berdasarkan bahasa, judul artikel, dan kata-kata pertanyaan yang persis sama. Gunakan hanya pasangan dengan satu kecocokan. Perbandingan pertanyaan TyDi QA

Gunakan pertanyaan yang sama saat membandingkan bahasa

XQuAD memberi model terjemahan dari pertanyaan dan bacaan yang sama. Sebanyak 1.190 pertanyaan bahasa Inggris berasal dari set pengembangan SQuAD 1.1. Berkas terjemahan yang kami periksa memakai ID pertanyaan yang sama. Jika model disetel menggunakan set pengembangan SQuAD, periksa pertanyaan yang sama sebelum menggunakan XQuAD sebagai tes dengan pertanyaan baru. Makalah asli XQuAD · Pemeriksaan pertanyaan yang digunakan kembali

Gunakan Belebele jika ingin model memilih satu dari empat jawaban. Ke-122 berkas bahasa dan aksaranya berbagi 900 ID pertanyaan. Simpan nomor atau huruf pilihan yang diambil. Dua pilihan bisa berbunyi sama, sehingga teksnya saja mungkin tidak cukup untuk mengetahui pilihan model. Jika mengeluarkan pertanyaan yang terdampak, gunakan ID tersisa yang sama di semua bahasa yang dibandingkan. Membandingkan skor membaca antarbahasa

Ubah bahasa pertanyaan dan pertahankan bacaannya

Gunakan MLQA jika, misalnya, penutur bahasa Vietnam mungkin bertanya tentang dokumen bahasa Inggris. Dalam berkas pengembangan MLQA bahasa Inggris dan Vietnam yang kami periksa, 511 pertanyaan bersama bisa diajukan dalam kedua bahasa dengan bacaan dan jawaban bahasa Inggris yang diterima tetap persis sama. Nilai kedua percobaan dengan jawaban bahasa Inggris yang sama untuk melihat apa yang berubah saat bahasa pertanyaan diganti. Makalah asli MLQA · Perbandingan berkas bahasa Inggris dan Vietnam

Untuk memeriksa manfaat bacaan secara terpisah, ajukan pertanyaan yang sama dengan dan tanpa bacaan. Memeriksa apakah model menggunakan bacaan

Pastikan tes mencakup bahasa yang diperlukan

Untuk bahasa Thai, gunakan TyDiQA-SelectP untuk melihat apakah model menemukan bagian yang tepat, XQuAD untuk melihat apakah model menemukan kata-kata jawaban dalam bacaan yang disediakan, atau Belebele untuk melihat apakah model memilih jawaban yang benar. Berkas pengembangan TyDiQA-GoldP tidak memiliki pertanyaan bahasa Thai. Bahasa Arab dan Inggris adalah satu-satunya bahasa yang ada dalam keempat kelompok berkas yang kami bandingkan: TyDi QA utama, TyDi QA Gold Passage, XQuAD, dan berkas pengembangan MLQA dengan bahasa pertanyaan dan bacaan yang sama. Pemeriksaan cakupan bahasa · Berkas bahasa Belebele

Saat melaporkan skor, sebutkan tugas, bahasa, dan jumlah pertanyaan yang masuk ke setiap skor. Misalnya, kedua penilai resmi TyDi QA mengecualikan bahasa Inggris dari rata-rata keseluruhan meski berkasnya mencakup bahasa tersebut. Dokumentasi penilaian TyDi QA