Bukti untuk memilih ujian pemahaman bacaan berbilang bahasa

Semakan ini membandingkan soalan dan bahasa dalam keluaran tertentu TyDi QA, XQuAD, MLQA dan Belebele. Bilangan yang dinyatakan merujuk kepada fail yang digunakan dalam panduan ini.

Soalan manakah yang terdapat dalam kedua-dua fail TyDi QA?

Kami memadankan fail pembangunan mengikut bahasa, tajuk artikel dan kata-kata soalan yang tepat. Setiap satu daripada 5,077 baris Gold Passage sepadan dengan satu daripada 18,670 baris tugas utama. Dalam 9 bahasa yang terdapat dalam kedua-dua fail, fail Gold Passage tidak menyertakan 1,285 baris tugas utama yang mempunyai jawapan bertulis yang ditandakan oleh sekurang-kurangnya seorang anotator. Fail pembangunan tugas utama merangkumi bahasa Jepun dan Thai, manakala fail Gold Passage tidak mempunyai baris dalam kedua-dua bahasa tersebut.

Untuk membandingkan artikel penuh dengan input yang lebih pendek, minta model yang sama memberikan jawapan bertulis sebanyak 2 kali. Salin petikan yang lebih pendek itu tepat seperti dalam artikel. Kekalkan tetapan, soalan, format jawapan, jawapan yang diterima dan peraturan pemarkahan yang sama. Semak bahawa setiap jawapan yang diterima terdapat dalam kedua-dua input. Jika anda menggunakan Gold Passage seperti yang disediakan, semak petikan dan senarai jawapannya. Padanan berdasarkan soalan menunjukkan soalan yang terdapat dalam kedua-dua fail. Teks petikan dan jawapan yang diterima mungkin berbeza.

Penilaian tugas utama dan Gold Passage oleh pengarang masing-masing mengecualikan bahasa Inggeris daripada purata keseluruhan.

Bilangan mengikut bahasa (JSON) · Skrip perbandingan (Python) · Fail pembangunan tugas utama yang dipinkan · Fail pembangunan Gold Passage yang dipinkan · Peraturan pemarkahan rasmi

Simpan kedua-dua fail sumber sebagai primary.parquet dan gold.parquet. Simpan skrip dan fail bilangan dalam direktori yang sama, kemudian jalankan perbandingan. Skrip mengesahkan kedua-dua digest input sebelum membaca fail tersebut.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Soalan XQuAD yang manakah berasal daripada SQuAD?

Semua 1,190 ID XQuAD bahasa Inggeris sepadan dengan soalan dalam fail pembangunan SQuAD 1.1. Bagi ID tersebut, tajuk artikel, petikan dan teks soalan sepadan tepat. Semua 12 fail dalam revisi XQuAD yang kami semak mempunyai ID yang sama, termasuk fail bahasa Romania yang ditambah selepas keluaran asal.

Bilangan dan padanan soalan (JSON) · Makalah asal XQuAD · Revisi XQuAD yang dipinkan · Fail pembangunan SQuAD yang dipinkan

Apakah yang kekal sama apabila bahasa soalan MLQA ditukar?

Keempat-empat fail pembangunan bahasa Inggeris–Vietnam berkongsi 511 ID soalan. Apabila bahasa soalan ditukar daripada bahasa Inggeris kepada bahasa Vietnam dan petikan bahasa Inggeris dikekalkan, kesemua 511 soalan berubah, tetapi tiada petikan atau senarai jawapan yang diterima berubah. Semakan ini membandingkan setiap petikan dan senarai jawapan yang diterima mengikut susunan, termasuk ofset yang disimpan. Gunakan jawapan bahasa Inggeris yang sama untuk memarkahkan kedua-dua pelaksanaan.

Bilangan daripada perbandingan fail (JSON) · Muat turun rasmi MLQA · Makalah asal MLQA

Bahasa manakah yang terdapat dalam keempat-empat set fail?

Kami menyemak fail pembangunan tugas utama dan Gold Passage TyDi QA, keluaran XQuAD yang dipinkan serta fail pembangunan MLQA yang menggunakan bahasa yang sama untuk soalan dan petikan. Bahasa Arab dan Inggeris ialah satu-satunya bahasa yang terdapat dalam keempat-empat set. Bahasa Thai terdapat dalam tugas utama TyDi QA dan XQuAD, tetapi tiada dalam Gold Passage.

Kod bahasa mengikut set fail (JSON)

Di manakah ujian aneka pilihan bahasa Thai?

Belebele mempunyai fail bahasa Thai bernama tha_Thai.jsonl. Gunakannya untuk soalan yang meminta model memilih satu daripada 4 jawapan selepas membaca petikan.

Fail bahasa Thai yang dipinkan daripada pengarang · Makalah asal Belebele · Cara membandingkan skor bacaan aneka pilihan antara bahasa