Riset
Cara memeriksa apakah model menggunakan bacaan
Ajukan pertanyaan yang sama dua kali, sekali dengan bacaan dan sekali tanpa. Pertahankan pertanyaan, pilihan jawaban, dan aturan penilaian. Bandingkan skor untuk mengetahui seberapa besar bacaan membantu. Untuk pilihan ganda, uji juga dengan hanya memberikan pilihan. Aturan yang selalu memilih jawaban terpendek mendapat 27,03% pada seluruh tes Belebele. Jika peluang tiap pilihan sama saat menebak, skor yang diharapkan adalah 25%. Pemeriksaan panjang jawaban Belebele
Ubah satu hal saja setiap kali
| Yang diterima model | Yang dibandingkan |
|---|---|
| Bacaan, pertanyaan, dan pilihan | Seberapa sering jawabannya benar dengan masukan lengkap |
| Pertanyaan dan pilihan | Seberapa sering jawabannya benar tanpa bacaan |
| Pilihan saja | Seberapa sering jawabannya benar dari pilihan saja |
Gunakan model dan pengaturan yang sama. Hitung jawaban yang berubah dari salah menjadi benar setelah bacaan ditambahkan, dan yang berubah sebaliknya. Angka itu menjelaskan mengapa skor sedikit berubah meski pertanyaan yang dijawab benar berbeda. Untuk jawaban tertulis, bandingkan dua pengujian pertama tanpa pilihan dan gunakan jawaban yang diterima yang sama.
Lihat pertanyaan mana yang hasilnya berubah
Andaikan model menjawab benar 70 dari 100 pertanyaan dalam kedua pengujian. Setelah dicocokkan menurut ID, 62 benar di keduanya dan 22 salah di keduanya. Menambahkan bacaan membuat delapan jawaban salah menjadi benar dan delapan jawaban benar menjadi salah. Skornya tetap 70%, tetapi ada 16 pertanyaan yang bisa dicek untuk melihat kapan bacaan membantu atau mengganggu.
Coba aturan sederhana berdasarkan kata yang sama
Penulis Belebele memeriksa petunjuk dari kata yang sama dan panjang jawaban. Mereka juga melaporkan skor 28% pada 900 pertanyaan untuk model yang melihat kata mana yang muncul tanpa memperhatikan urutannya. Makalah Belebele, bagian 3.2 · Lampiran A.6
Kami menerapkan aturan tetap pada 900 pertanyaan Belebele yang sama dalam bahasa Inggris dan Vietnam. Kami menguji tanpa bacaan, dengan bacaan yang sesuai, dan dengan bacaan dari halaman lain. Untuk tiap pilihan, kami menghitung bagian dari kata-kata uniknya yang juga ada di pertanyaan atau bacaan yang diberikan. Tanpa bacaan, kami hanya memakai pertanyaan. Aturan memilih pilihan dengan proporsi tertinggi. Jika beberapa pilihan sama-sama tertinggi, kami membagi satu poin secara merata dan hanya menghitung bagian jawaban yang ditandai benar. Untuk setiap pertanyaan, bacaan pengganti Inggris dan Vietnam berasal dari halaman lain yang sama, dalam bahasa masing-masing. Kode · Hasil
| Bahasa | Tanpa bacaan | Bacaan dari halaman lain | Bacaan yang sesuai |
|---|---|---|---|
| Inggris | 24.60% | 26.38% | 28.72% |
| Vietnam | 25.98% | 24.80% | 27.17% |
Pada perbandingan pertama, bacaan yang sesuai mendapat skor tertinggi dalam kedua bahasa. Kami mencoba 15 pertukaran lain. Dari 16 pertukaran, skor berkisar antara 24,60% dan 27,89% dalam bahasa Inggris dan antara 23,58% dan 27,84% dalam bahasa Vietnam. Bacaan yang sesuai melampaui semua 16 pertukaran dalam bahasa Inggris dan 15 dalam bahasa Vietnam. Coba beberapa pengganti agar kesimpulan tidak terlalu bergantung pada halaman yang dipilih. Hasil semua pertukaran
Dibanding tanpa bacaan, bacaan yang sesuai menambah poin pada 311 pertanyaan bahasa Inggris dan 313 bahasa Vietnam. Poin berkurang pada 218 pertanyaan Inggris dan 234 Vietnam. Jika membandingkan aturan ini dengan model, nilai keduanya pada pertanyaan yang sama.
Pertahankan pertanyaan dan aturan penilaian
Simpan ID pertanyaan dengan setiap jawaban. Ke-122 berkas Belebele memiliki 900 ID yang sama, tetapi 52 berkas urutannya berbeda dari berkas Inggris. Jika menyisihkan pertanyaan dengan teks pilihan berulang, hapus ID yang sama dari semua pengujian. Simpan huruf pilihan untuk membedakan dua pilihan yang teksnya sama. Pemeriksaan urutan pertanyaan · Penyaringan pertanyaan
Periksa apa yang mungkin sudah dilihat model
Jawaban benar tanpa bacaan bisa berasal dari pengetahuan sebelumnya, petunjuk dalam pertanyaan atau pilihan, atau tebakan. Jika menyetel model dengan set pengembangan FLORES-200 untuk kemudian mengujinya di Belebele, kamu bisa mengecualikan pertanyaan dari URL tersebut. Periksa juga teksnya. Dalam berkas asli, sembilan pertanyaan dari URL lain masih memuat kalimat dari set pengembangan dalam setidaknya satu bahasa atau aksara yang diperiksa. Pemeriksaan bacaan Belebele
Pertahankan bacaan saat mengganti bahasa pertanyaan
Jika ingin mengetahui pengaruh bahasa pertanyaan, lakukan perbandingan itu secara terpisah. Dalam berkas MLQA bahasa Inggris dan Vietnam yang diperiksa, 511 ID memungkinkan penggantian bahasa pertanyaan tanpa mengubah bacaan bahasa Inggris dan jawaban yang diterima. Nilai kedua pengujian dengan jawaban bahasa Inggris yang sama. Pertanyaan MLQA yang dicocokkan