Penyelidikan
Cara menyemak sama ada model menggunakan petikan
Ajukan soalan yang sama kepada model dua kali, sekali dengan petikan dan sekali tanpanya. Kekalkan soalan, pilihan dan peraturan pemarkahan. Bandingkan skor untuk melihat sejauh mana petikan membantu. Bagi soalan aneka pilihan, jalankan satu lagi ujian dengan pilihan sahaja. Pada keseluruhan ujian Belebele, peraturan memilih jawapan terpendek mendapat 27.03%. Jika peluang setiap pilihan sama ketika meneka, skor yang dijangka ialah 25%. Semakan panjang jawapan Belebele
Ubah satu perkara sahaja pada setiap percubaan
| Maklumat yang diterima model | Perkara yang dibandingkan |
|---|---|
| Petikan, soalan dan pilihan | Kekerapan jawapan betul dengan maklumat lengkap |
| Soalan dan pilihan | Kekerapan jawapan betul tanpa petikan |
| Pilihan sahaja | Kekerapan jawapan betul berdasarkan pilihan sahaja |
Gunakan model dan tetapan yang sama. Kira bilangan jawapan yang berubah daripada salah kepada betul apabila petikan ditambah dan bilangan yang berubah sebaliknya. Kiraan ini menjelaskan perubahan skor yang kecil walaupun soalan yang dijawab dengan betul berbeza. Untuk jawapan bertulis, bandingkan dua ujian pertama tanpa pilihan dan gunakan jawapan diterima yang sama.
Lihat soalan yang berubah hasilnya
Katakan model menjawab 70 daripada 100 soalan dengan betul dalam kedua-dua ujian. Apabila dipadankan mengikut ID, 62 betul dalam kedua-duanya dan 22 salah dalam kedua-duanya. Petikan menukar lapan jawapan salah kepada betul dan lapan jawapan betul kepada salah. Skor kekal 70%, tetapi anda boleh menyemak 16 soalan untuk melihat bila petikan membantu atau mengganggu.
Cuba peraturan mudah berdasarkan perkataan sepadan
Pengarang Belebele menyemak petunjuk daripada persamaan perkataan dan panjang jawapan. Mereka turut melaporkan 28% daripada 900 soalan bagi model yang melihat perkataan yang muncul tanpa mengambil kira susunannya. Makalah Belebele, bahagian 3.2 · Lampiran A.6
Kami menggunakan peraturan tetap pada 900 soalan Belebele yang sama dalam bahasa Inggeris dan Vietnam. Kami mencuba tanpa petikan, dengan petikan berkaitan dan dengan petikan daripada halaman lain. Untuk setiap pilihan, kami mengira bahagian perkataan berbeza dalam pilihan itu yang turut terdapat dalam soalan atau petikan yang diberikan. Tanpa petikan, hanya soalan digunakan. Pilihan dengan bahagian tertinggi dipilih. Jika seri di tempat pertama, kami membahagikan satu mata sama rata dan hanya mengira bahagian jawapan yang ditandakan betul. Bagi setiap soalan, petikan ganti Inggeris dan Vietnam diambil daripada halaman lain yang sama dalam bahasa masing-masing. Kod · Hasil
| Bahasa | Tanpa petikan | Petikan daripada halaman lain | Petikan berkaitan |
|---|---|---|---|
| Inggeris | 24.60% | 26.38% | 28.72% |
| Vietnam | 25.98% | 24.80% | 27.17% |
Dalam perbandingan pertama, petikan berkaitan memberi skor tertinggi dalam kedua-dua bahasa. Kami mencuba 15 lagi pertukaran petikan. Dalam kesemua 16 pertukaran, skor berjulat dari 24.60% hingga 27.89% dalam bahasa Inggeris dan dari 23.58% hingga 27.84% dalam bahasa Vietnam. Petikan berkaitan mengatasi kesemua 16 pertukaran dalam bahasa Inggeris dan 15 dalam bahasa Vietnam. Cuba beberapa petikan ganti supaya kesimpulan kurang bergantung pada halaman yang dipilih. Hasil semua pertukaran
Berbanding tanpa petikan, petikan berkaitan menambah mata pada 311 soalan bahasa Inggeris dan 313 soalan bahasa Vietnam. Mata berkurang pada 218 soalan bahasa Inggeris dan 234 bahasa Vietnam. Jika membandingkan peraturan ini dengan model, nilai kedua-duanya pada soalan yang sama.
Kekalkan soalan dan peraturan pemarkahan
Simpan ID soalan dengan setiap jawapan. Kesemua 122 fail Belebele berkongsi 900 ID, tetapi 52 fail mempunyai urutan berbeza daripada fail Inggeris. Jika mengecualikan soalan dengan teks pilihan berulang, keluarkan ID yang sama daripada semua ujian yang dibandingkan. Simpan huruf pilihan supaya penilai boleh membezakan dua pilihan dengan teks sama. Semakan susunan soalan · Penapisan soalan
Semak apa yang mungkin pernah dilihat oleh model
Jawapan betul tanpa petikan boleh berpunca daripada pengetahuan sedia ada, petunjuk dalam soalan atau pilihan, atau tekaan. Jika model dilaras dengan set pembangunan FLORES-200 dan kini hendak diuji pada Belebele, soalan daripada URL tersebut boleh dikecualikan. Semak juga teks. Dalam fail asal, sembilan soalan daripada URL lain masih mengandungi ayat daripada set pembangunan dalam sekurang-kurangnya satu bahasa atau tulisan yang disemak. Semakan petikan Belebele
Kekalkan petikan apabila menukar bahasa soalan
Untuk mengetahui sama ada bahasa lain mengubah hasil, buat perbandingan itu secara berasingan. Dalam fail MLQA bahasa Inggeris dan Vietnam yang diperiksa, 511 ID membolehkan bahasa soalan ditukar dengan mengekalkan petikan bahasa Inggeris dan jawapan diterima tanpa perubahan. Nilai kedua-dua ujian menggunakan jawapan bahasa Inggeris yang sama. Soalan MLQA yang dipadankan