Riset
Cara membandingkan skor membaca pilihan ganda antarbahasa
Gunakan pertanyaan dan aturan penilaian yang sama dalam setiap bahasa. Periksa apakah teks jawaban berulang atau model mungkin sudah pernah melihat bacaannya. Pada Belebele, tes membaca multibahasa, kami menyalin nomor jawaban benar dari tiap berkas dan menyusunnya sesuai urutan pertanyaan bahasa Inggris. Pencocokan menurut nomor baris menghasilkan 73,55%. Pencocokan menurut ID pertanyaan menghasilkan 100%. Ulangi penilaian Belebele
Pasangkan setiap jawaban dengan pertanyaan yang tepat
Simpan bahasa, ID pertanyaan, dan nomor atau huruf pilihan bersama tiap jawaban. Ke-122 berkas Belebele memiliki 900 ID pertanyaan yang sama, tetapi 52 berkas mengurutkannya berbeda dari berkas bahasa Inggris. Dalam uji berdasarkan baris, 9.838 jawaban yang dipasangkan dengan pertanyaan keliru tetap mendapat poin karena nomor pilihannya kebetulan sama. Pemeriksaan urutan pertanyaan
Periksa apakah dua pilihan memiliki teks yang sama
Misalkan pilihan B dan D sama-sama bertuliskan 12, dan berkas menandai B sebagai jawaban benar. Balasan 12 memberikan teks jawabannya. Untuk menilai berdasarkan posisi, kamu perlu huruf pilihannya. Pada 148 baris Belebele, teks jawaban yang ditandai muncul di lebih dari satu pilihan. Saat kami menyalin persis teks tersebut, mengambil pilihan cocok pertama menghilangkan 16 poin dan mengambil yang terakhir menghilangkan 133. Tentukan apakah tes menilai label pilihan atau teks jawabannya, lalu periksa pilihan dengan aturan yang sama. Pilihan jawaban berulang
Bandingkan skor pada pertanyaan yang sama
Jika 148 baris bermasalah hanya dikeluarkan di tempat kemunculannya, tiap bahasa akan memiliki 894 hingga 899 pertanyaan. Untuk membandingkan bahasa dengan pertanyaan yang sama, hapus semua 23 ID yang terdampak dari setiap berkas. Hasilnya 877 pertanyaan bersama. Laporkan jumlah awal dan jumlah yang dinilai. Perbandingan penyaringan pertanyaan
Periksa bacaan yang mungkin sudah dilihat model
Jika kamu menggunakan set pengembangan FLORES-200 untuk menyetel model, periksa apakah bacaan yang sama ada di Belebele. Di berkas bahasa Inggris, 513 pertanyaan mengarah ke halaman yang dipakai dalam set pengembangan itu. Untuk 417 di antaranya, menggabungkan kalimat FLORES menghasilkan bacaan Belebele yang sama persis. Jumlah yang cocok persis berbeda di 116 berkas bahasa dan aksara lainnya yang dimiliki kedua set data. Periksa teks dalam bahasa yang kamu uji. Penggunaan ulang bacaan bahasa Inggris · Penggunaan ulang bacaan terjemahan