Langkau ke kandungan utama

Menu

Penyelidikan

Cara membandingkan skor ujian bacaan aneka pilihan merentas bahasa

Bahasa: Bahasa Melayu

Gunakan soalan dan peraturan pemarkahan yang sama dalam setiap bahasa. Semak pilihan berulang dan petikan yang mungkin pernah dilihat oleh model. Dalam ujian bacaan berbilang bahasa Belebele, kami menyalin nombor jawapan betul daripada setiap fail dan menyusunnya mengikut turutan soalan bahasa Inggeris. Padanan mengikut nombor baris menghasilkan 73.55%. Padanan mengikut ID soalan menghasilkan 100%. Ulangan pemarkahan Belebele

Padankan setiap jawapan dengan soalan yang betul

Simpan bahasa, ID soalan dan nombor atau huruf pilihan bersama setiap jawapan. Kesemua 122 fail Belebele berkongsi 900 ID yang sama, tetapi 52 fail mempunyai susunan berbeza daripada fail bahasa Inggeris. Dalam ujian mengikut baris, 9 838 jawapan yang dipadankan kepada soalan yang salah tetap mendapat mata kerana nombor pilihan kebetulan sepadan. Semakan susunan soalan

Semak sama ada dua pilihan mempunyai teks yang sama

Bayangkan kedua-dua pilihan B dan D memaparkan 12 dan fail menandakan B sebagai betul. Balasan 12 memberikan teks, tetapi untuk menilai mengikut kedudukan, anda memerlukan huruf pilihan. Dalam 148 baris Belebele, teks jawapan yang ditandakan berulang. Apabila teks itu disalin tepat, memilih padanan pertama menyebabkan kehilangan 16 mata, dan padanan terakhir 133. Tentukan sama ada ujian menilai label pilihan atau teksnya, kemudian semak pilihan menggunakan peraturan tersebut. Pilihan jawapan berulang

Bandingkan skor bagi soalan yang sama

Jika 148 baris jawapan berulang dikeluarkan hanya di tempat ia muncul, setiap bahasa mempunyai antara 894 dan 899 soalan. Untuk membandingkan soalan yang sama merentas bahasa, keluarkan semua 23 ID terjejas daripada setiap fail. Ini meninggalkan 877 soalan bersama. Laporkan bilangan asal dan bilangan yang dinilai. Perbandingan penapisan soalan

Semak petikan yang mungkin pernah dilihat oleh model

Jika anda menggunakan set pembangunan FLORES-200 untuk melaras model, semak sama ada petikan yang sama muncul dalam Belebele. Dalam fail bahasa Inggeris, 513 soalan merujuk kepada halaman dalam set pembangunan tersebut. Bagi 417 soalan, gabungan ayat FLORES menghasilkan petikan Belebele yang sepadan tepat. Bilangan padanan tepat berbeza antara 116 fail bahasa dan tulisan lain yang dikongsi oleh kedua-dua set data. Semak teks dalam bahasa yang diuji. Penggunaan semula petikan bahasa Inggeris · Penggunaan semula petikan terjemahan