หลักฐานสำหรับเลือกแบบทดสอบความเข้าใจในการอ่านหลายภาษา
การตรวจสอบเหล่านี้เปรียบเทียบคำถามและภาษาใน TyDi QA, XQuAD, MLQA และ Belebele รุ่นที่ระบุ จำนวนที่แสดงมาจากไฟล์ที่ใช้ในคู่มือ
ไฟล์ TyDi QA มีคำถามใดร่วมกันบ้าง
เราจับคู่ไฟล์ชุดพัฒนาโดยใช้ภาษา ชื่อบทความ และข้อความคำถามที่ตรงกันทุกประการ ทั้ง 5,077 แถวใน Gold Passage จับคู่กับแถวในชุดหลักจำนวน 18,670 แถวได้ ใน 9 ภาษาที่มีร่วมกัน ไฟล์ Gold Passage ไม่รวม 1,285 แถวจากชุดหลักที่มีผู้กำกับข้อมูลอย่างน้อย 1 คนระบุคำตอบแบบเขียนไว้ ไฟล์ชุดพัฒนาหลักมีภาษาญี่ปุ่นและภาษาไทย ส่วนไฟล์ Gold Passage ไม่มีแถวของทั้ง 2 ภาษานี้
หากต้องการเปรียบเทียบบทความทั้งชิ้นกับบทอ่านที่สั้นกว่า ให้โมเดลเดียวกันตอบคำถามแบบเขียน 2 ครั้ง คัดลอกบทอ่านที่สั้นกว่าจากบทความให้ตรงทุกประการ ใช้การตั้งค่า คำถาม รูปแบบคำตอบ คำตอบที่ยอมรับ และเกณฑ์การให้คะแนนเดียวกัน ตรวจสอบว่าคำตอบที่ยอมรับแต่ละคำตอบปรากฏอยู่ในบทอ่านทั้ง 2 แบบ หากใช้ Gold Passage ตามที่จัดเตรียมไว้ ให้ตรวจสอบข้อความที่ตัดมาและรายการคำตอบของข้อความนั้น การจับคู่ด้วยคำถามแสดงให้เห็นว่าไฟล์มีคำถามใดร่วมกัน แต่ข้อความบทอ่านและคำตอบที่ยอมรับอาจแตกต่างกันได้
การประเมินชุดหลักและ Gold Passage ของผู้วิจัยต่างไม่นำภาษาอังกฤษมาคำนวณในค่าเฉลี่ยรวม
จำนวนแยกตามภาษา (JSON) · สคริปต์เปรียบเทียบ (Python) · ไฟล์ชุดพัฒนาหลักรุ่นที่ระบุ · ไฟล์ชุดพัฒนา Gold Passage รุ่นที่ระบุ · เกณฑ์การให้คะแนนอย่างเป็นทางการ
บันทึกไฟล์ต้นฉบับทั้ง 2 ไฟล์เป็น primary.parquet และ gold.parquet บันทึกสคริปต์และไฟล์จำนวนไว้ในไดเรกทอรีเดียวกัน จากนั้นเรียกใช้สคริปต์เพื่อเปรียบเทียบ สคริปต์จะตรวจสอบค่าแฮชของไฟล์ทั้ง 2 ก่อนอ่านข้อมูล
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
คำถาม XQuAD ใดมาจาก SQuAD
ID ของ XQuAD ภาษาอังกฤษทั้ง 1,190 รายการตรงกับคำถามในไฟล์ชุดพัฒนา SQuAD 1.1 สำหรับ ID เหล่านั้น ชื่อบทความ บทอ่าน และข้อความคำถามตรงกันทุกประการ ไฟล์ทั้ง 12 ไฟล์ใน XQuAD รุ่นที่เราตรวจสอบมี ID ชุดเดียวกัน รวมถึงไฟล์ภาษาโรมาเนียที่เพิ่มเข้ามาหลังจากเผยแพร่รุ่นแรก
จำนวนคำถามและผลการจับคู่ (JSON) · งานวิจัย XQuAD ฉบับต้นฉบับ · XQuAD รุ่นที่ระบุ · ไฟล์ชุดพัฒนา SQuAD รุ่นที่ระบุ
เมื่อเปลี่ยนภาษาของคำถาม MLQA อะไรยังคงเดิม
ไฟล์ชุดพัฒนาภาษาอังกฤษ–เวียดนามทั้ง 4 ไฟล์มี ID คำถามร่วมกัน 511 รายการ เมื่อเปลี่ยนคำถามจากภาษาอังกฤษเป็นภาษาเวียดนามโดยใช้บทอ่านภาษาอังกฤษเดิม คำถามเปลี่ยนไปทั้งหมด 511 ข้อ แต่ไม่มีบทอ่านหรือรายการคำตอบที่ยอมรับใดเปลี่ยนแปลง การตรวจสอบเปรียบเทียบบทอ่านแต่ละบทและรายการคำตอบที่ยอมรับตามลำดับ รวมถึงตำแหน่งที่บันทึกไว้ ใช้คำตอบภาษาอังกฤษชุดเดียวกันให้คะแนนทั้ง 2 รอบ
จำนวนจากการเปรียบเทียบไฟล์ (JSON) · ดาวน์โหลด MLQA อย่างเป็นทางการ · งานวิจัย MLQA ฉบับต้นฉบับ
ไฟล์ทั้ง 4 ชุดมีภาษาใดบ้าง
เราตรวจสอบชุดพัฒนาหลักและ Gold Passage ของ TyDi QA, XQuAD รุ่นที่ระบุ และไฟล์ชุดพัฒนา MLQA ที่ใช้ภาษาเดียวกันสำหรับคำถามและบทอ่าน ภาษาอาหรับและภาษาอังกฤษเป็นเพียง 2 ภาษาที่มีอยู่ในทั้ง 4 ชุด ภาษาไทยมีอยู่ในชุดหลักของ TyDi QA และ XQuAD แต่ไม่มีใน Gold Passage
รหัสภาษาแยกตามชุดไฟล์ (JSON)
แบบทดสอบภาษาไทยแบบเลือกตอบอยู่ที่ไหน
Belebele มีไฟล์ภาษาไทยชื่อ tha_Thai.jsonl ใช้ไฟล์นี้สำหรับคำถามที่ให้โมเดลอ่านบทอ่านแล้วเลือกคำตอบ 1 ข้อจาก 4 ตัวเลือก
ไฟล์ภาษาไทยรุ่นที่ระบุจากผู้วิจัย · งานวิจัย Belebele ฉบับต้นฉบับ · วิธีเปรียบเทียบคะแนนความเข้าใจในการอ่านแบบเลือกตอบระหว่างภาษา