Bukti untuk panduan tolok ukur membaca
Pemeriksaan ini menggunakan arsip asli Belebele dan FLORES-200 serta berkas pengembangan MLQA yang tersedia untuk umum. Belebele memiliki 4 pilihan jawaban untuk setiap pertanyaan. Sebanyak 122 berkas bahasa dan aksara dalam ZIP asli memiliki 900 ID pertanyaan yang sama. Dalam berkas ini, setiap ID memasangkan URL sumber dengan nomor pertanyaan. Makalah Belebele · Unduhan dan format Belebele
Pasangkan jawaban dengan pertanyaan
Kami menyalin nomor jawaban yang ditandai dari setiap berkas Belebele dan menyusunnya sesuai urutan pertanyaan dalam bahasa Inggris. Sebanyak 52 berkas mencantumkan pertanyaan dalam urutan yang berbeda dari bahasa Inggris. Memasangkan jawaban yang disalin ke setiap berkas berdasarkan nomor baris menghasilkan skor 73.55%. Memasangkannya berdasarkan ID pertanyaan menghasilkan skor 100% dari 109,800 baris. Saat dipasangkan berdasarkan nomor baris, 38,876 jawaban ditujukan ke pertanyaan yang berbeda. Dari jumlah itu, 9,838 tetap mendapat nilai karena nomor jawabannya cocok.
Periksa apakah ada teks jawaban yang sama
Dalam 148 baris, ada pilihan lain yang teksnya sama persis dengan jawaban yang ditandai. Kami menyalin teks jawaban yang ditandai dari setiap baris. Menetapkan pilihan pertama dengan teks tersebut sebagai jawaban menyebabkan hilangnya 16 kredit. Menetapkan pilihan terakhir menyebabkan hilangnya 133 kredit. Pemeriksaan ini membandingkan teks persis seperti yang tersimpan dalam ZIP asli.
Gunakan pertanyaan yang sama
Menghapus 148 baris yang terdampak hanya dari berkas tempat baris tersebut muncul menyisakan antara 894 dan 899 pertanyaan per berkas. Baris yang terdampak mencakup 23 ID pertanyaan yang berbeda. Menghapus seluruh 23 ID tersebut dari setiap berkas menyisakan 877 pertanyaan yang sama di setiap berkas.
Periksa asal bacaan
Dalam berkas bahasa Inggris, 513 pertanyaan merujuk ke halaman dalam bagian pengembangan FLORES-200 asli. Untuk 417 pertanyaan tersebut, menggabungkan kalimat FLORES asli sesuai urutannya menghasilkan bacaan Belebele yang sama persis. Jumlah yang sama persis bervariasi di antara 116 berkas bahasa dan aksara lain yang ada di kedua arsip.
Kami juga memeriksa 45,279 baris Belebele yang berasal dari URL devtest FLORES-200 di seluruh 117 berkas bahasa dan aksara yang ada di kedua arsip, termasuk bahasa Inggris. Ada 9 ID pertanyaan berbeda yang masing-masing memiliki bacaan dengan satu kalimat pengembangan lengkap di setidaknya satu berkas. Pemeriksaan ini mencocokkan URL sumber dan teks secara persis dalam arsip sumber. Dokumentasi FLORES-200 · Arsip asli FLORES-200
Periksa aturan jawaban terpendek
Selalu memilih jawaban terpendek menghasilkan skor 27.03% di seluruh tes Belebele. Aturan ini menghitung karakter setelah menyeragamkan karakter Unicode yang setara dan spasi. Jika beberapa pilihan sama-sama terpendek, aturan ini membagi satu poin secara merata di antara pilihan tersebut dan hanya menghitung bagian untuk jawaban yang ditandai. Tebakan acak dengan peluang yang sama di antara 4 pilihan memiliki skor harapan 25%. Penulis asli Belebele menggunakan kesamaan kata dan panjang jawaban untuk memeriksa adanya petunjuk. Mereka juga melaporkan hasil 28% pada 900 pertanyaan dari model yang menggunakan kata-kata tanpa memperhatikan urutannya. Makalah Belebele, bagian 3.2 · Lampiran A.6
Bandingkan skor berdasarkan bacaan
Kami menggunakan 900 ID pertanyaan yang sama dalam bahasa Inggris dan Vietnam. Aturan ini memilih jawaban dengan proporsi tertinggi kata unik yang muncul dalam pertanyaan atau bacaan yang diberikan. Jika tidak ada bacaan, aturan ini hanya menggunakan pertanyaan. Pilihan yang memperoleh nilai sama membagi satu poin secara merata. Setiap pengujian dengan bacaan pengganti mengambil bacaan dari halaman lain dan menggunakan halaman sumber pengganti yang sama dalam kedua bahasa.
| Bahasa | Tanpa bacaan | Pengganti pertama | Bacaan yang seharusnya | Rentang dari 16 bacaan pengganti |
|---|---|---|---|---|
| Bahasa Inggris | 24.60% | 26.38% | 28.72% | 24.60% hingga 27.89% |
| Bahasa Vietnam | 25.98% | 24.80% | 27.17% | 23.58% hingga 27.84% |
Bacaan yang seharusnya menghasilkan skor lebih tinggi daripada seluruh 16 bacaan pengganti dalam bahasa Inggris dan 15 bacaan pengganti dalam bahasa Vietnam. Dibandingkan tanpa bacaan, bacaan yang seharusnya meningkatkan nilai pada 311 pertanyaan dalam bahasa Inggris dan 313 pertanyaan dalam bahasa Vietnam. Bacaan tersebut menurunkan nilai pada 218 pertanyaan dalam bahasa Inggris dan 234 pertanyaan dalam bahasa Vietnam. Kode pencocokan kata · Hasil agregat
Ubah bahasa pertanyaan
Dalam berkas pengembangan MLQA bahasa Inggris dan Vietnam, 511 ID pertanyaan muncul dalam keempat kombinasi bahasa pertanyaan dan bacaan. Di antara ID tersebut, mengubah bahasa pertanyaan dari bahasa Inggris ke bahasa Vietnam sambil mempertahankan bacaan bahasa Inggris menghasilkan bacaan dan daftar jawaban yang diterima yang sama persis. Perbandingan dengan pengaturan ini menilai kedua pengujian berdasarkan jawaban bahasa Inggris yang sama. Makalah MLQA · Susunan berkas MLQA
Ulangi pemeriksaan pencocokan kata
Unduh ZIP Belebele asli, skrip pencocokan kata, skrip bantuan Python, dan hasil agregat yang tersimpan. Simpan semuanya dalam folder yang sama. Skrip ini memverifikasi hash arsip dan membaca berkas bahasa Inggris dan Vietnam. Skrip melaporkan skor dalam satuan nilai, dengan 12 satuan setara dengan satu jawaban benar. Gunakan Python 3.12 untuk mengulangi perbandingan.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json