Bukti untuk memilih tes pemahaman bacaan multibahasa

Pemeriksaan ini membandingkan pertanyaan dan bahasa dalam rilis tertentu TyDi QA, XQuAD, MLQA, dan Belebele. Jumlah yang tercantum berasal dari berkas yang digunakan dalam panduan ini.

Pertanyaan apa saja yang sama dalam berkas TyDi QA?

Kami mencocokkan berkas pengembangan berdasarkan bahasa, judul artikel, dan redaksi pertanyaan yang persis sama. Setiap baris dari 5,077 baris Gold Passage cocok dengan salah satu dari 18,670 baris primary. Dalam 9 bahasa yang ada di kedua berkas, berkas Gold Passage tidak menyertakan 1,285 baris primary yang memiliki jawaban tertulis menurut setidaknya 1 anotator. Berkas pengembangan primary mencakup bahasa Jepang dan Thai, sedangkan berkas Gold Passage tidak memiliki baris dalam kedua bahasa tersebut.

Untuk membandingkan artikel utuh dengan masukan yang lebih pendek, minta model yang sama memberikan jawaban tertulis sebanyak 2 kali. Salin kutipan yang lebih pendek persis seperti dalam artikel. Gunakan pengaturan, pertanyaan, format jawaban, daftar jawaban yang diterima, dan aturan penilaian yang sama. Pastikan setiap jawaban yang diterima muncul dalam kedua masukan. Periksa kutipan dan daftar jawabannya jika kamu menggunakan Gold Passage sebagaimana disediakan. Pencocokan berdasarkan pertanyaan menunjukkan pertanyaan mana yang sama dalam kedua berkas. Teks bacaan dan jawaban yang diterima dapat berbeda.

Evaluasi primary dan Gold Passage oleh para penulis masing-masing tidak menyertakan bahasa Inggris dalam rata-rata keseluruhannya.

Jumlah berdasarkan bahasa (JSON) · Skrip perbandingan (Python) · Berkas pengembangan primary pada revisi yang ditetapkan · Berkas pengembangan Gold Passage pada revisi yang ditetapkan · Aturan penilaian resmi

Simpan kedua berkas sumber sebagai primary.parquet dan gold.parquet. Simpan skrip dan data jumlah dalam direktori yang sama, lalu jalankan perbandingan. Skrip memverifikasi hash kedua berkas masukan sebelum membacanya.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Pertanyaan XQuAD mana yang berasal dari SQuAD?

Seluruh 1,190 ID XQuAD berbahasa Inggris cocok dengan pertanyaan dalam berkas pengembangan SQuAD 1.1. Untuk ID tersebut, judul artikel, teks bacaan, dan teks pertanyaan cocok persis. Seluruh 12 berkas dalam revisi XQuAD yang kami periksa menggunakan ID yang sama, termasuk berkas bahasa Rumania yang ditambahkan setelah rilis awal.

Jumlah pertanyaan dan hasil pencocokan (JSON) · Makalah asli XQuAD · Revisi XQuAD yang ditetapkan · Berkas pengembangan SQuAD pada revisi yang ditetapkan

Apa yang tetap sama saat bahasa pertanyaan MLQA diubah?

Keempat berkas pengembangan Inggris–Vietnam memiliki 511 ID pertanyaan yang sama. Mengganti pertanyaan dari bahasa Inggris ke bahasa Vietnam sambil mempertahankan bacaan berbahasa Inggris mengubah seluruh 511 pertanyaan, tanpa mengubah satu pun bacaan atau daftar jawaban yang diterima. Pemeriksaan ini membandingkan setiap bacaan dan daftar jawaban yang diterima sesuai urutannya, termasuk offset yang tersimpan. Gunakan jawaban bahasa Inggris yang sama untuk menilai kedua pengujian.

Hasil perbandingan berkas (JSON) · Unduhan resmi MLQA · Makalah asli MLQA

Bahasa apa saja yang ada dalam keempat kumpulan berkas?

Kami memeriksa berkas pengembangan TyDi QA primary dan Gold Passage, rilis XQuAD pada revisi yang ditetapkan, serta berkas pengembangan MLQA yang menggunakan bahasa yang sama untuk pertanyaan dan bacaan. Bahasa Arab dan Inggris adalah satu-satunya bahasa yang ada di keempat kumpulan tersebut. Bahasa Thai ada dalam TyDi QA primary dan XQuAD, tetapi tidak ada dalam Gold Passage.

Kode bahasa berdasarkan kumpulan berkas (JSON)

Di mana tes pilihan ganda bahasa Thai?

Belebele memiliki berkas bahasa Thai bernama tha_Thai.jsonl. Gunakan berkas ini untuk pertanyaan yang meminta model memilih 1 dari 4 jawaban setelah membaca sebuah teks.

Berkas bahasa Thai dari para penulis pada revisi yang ditetapkan · Makalah asli Belebele · Cara membandingkan skor pemahaman bacaan pilihan ganda antarbahasa