ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีเลือกแบบทดสอบความเข้าใจในการอ่านหลายภาษา

ภาษาของบทความ: ไทย

เลือกแบบทดสอบที่ให้โมเดลทำสิ่งที่ผู้ใช้ต้องการ การหาบทอ่านให้เจอ การตอบจากบทอ่านที่ให้มา และการเข้าใจคำถามในอีกภาษาเป็นคนละทักษะ ลองทดสอบแยกกันเพื่อดูว่าขั้นตอนไหนควรตรวจให้ละเอียดขึ้น

อยากตรวจอะไรเริ่มจากอะไรโมเดลต้องทำอะไร
หาส่วนที่ถูกต้องในบทความได้ไหมTyDiQA-SelectPเลือกช่วงหนึ่งจากบทความหรือระบุว่าไม่มีช่วงไหนตอบคำถามได้
หาคำที่ใช้ตอบคำถามได้ไหมTyDiQA-GoldPดึงคำที่เป็นคำตอบจากบทอ่านที่มีคำตอบนั้นอยู่
ตอบคำถามชุดเดียวกันในหลายภาษาได้ไหมXQuAD หรือ Belebeleตอบจากบทอ่านที่แปลแล้วใน XQuAD หรือเลือกหนึ่งในสี่คำตอบใน Belebele
ตอบได้ไหมเมื่อคำถามกับบทอ่านใช้คนละภาษาMLQAหาคำตอบในบทอ่านที่เขียนด้วยอีกภาษา

ตรวจว่าโมเดลหาคำตอบได้หรือไม่

ใช้ TyDiQA-SelectP ถ้าโมเดลต้องหาส่วนที่ถูกต้องในบทความ ใช้ TyDiQA-MinSpan ถ้าโมเดลต้องตอบสั้น ๆ ตอบว่าใช่หรือไม่ใช่ หรือระบุว่าบทความไม่มีคำตอบ คนเขียนคำถาม TyDi QA ขึ้นโดยตรงในแต่ละภาษา คำอธิบายงานของ TyDi QA

หากอยากรู้ว่าบทอ่านสั้นลงช่วยได้แค่ไหน ให้โมเดลตัวเดิมเขียนคำตอบสองรอบ รอบแรกให้บทความเต็ม รอบที่สองให้ส่วนที่คัดจากบทความเดียวกันโดยไม่เปลี่ยนข้อความ คงการตั้งค่า คำถาม รูปแบบคำตอบ คำตอบที่ยอมรับ และกติกาการให้คะแนนเดิม ตรวจว่าคำตอบที่ยอมรับทุกคำตอบปรากฏในข้อความทั้งสอง ถ้าใช้รายการจาก Gold Passage ตามที่เผยแพร่ ให้ตรวจบทอ่านและรายการคำตอบก่อน สองไฟล์อาจใช้คำถามเดียวกันแม้บทอ่านหรือคำตอบที่ยอมรับจะต่างกัน ใช้ไฟล์พัฒนาของ TyDi QA ช่วยเตรียมการเปรียบเทียบนี้ได้ คำถาม Gold Passage ทั้ง 5,077 ข้อมีอยู่ในชุดหลักที่มี 18,670 ข้อด้วย Gold Passage ไม่มีภาษาญี่ปุ่นและภาษาไทย และในเก้าภาษาที่ทั้งสองไฟล์มีร่วมกัน ยังตัดคำถามที่ทำเครื่องหมายคำตอบแบบเขียนไว้อีก 1,285 ข้อ จับคู่ตามภาษา ชื่อบทความ และข้อความคำถามที่ตรงกันทุกคำ ใช้เฉพาะคู่ที่ตรงกันแบบหนึ่งต่อหนึ่ง เปรียบเทียบคำถาม TyDi QA

ใช้คำถามชุดเดียวกันเมื่อเปรียบเทียบภาษา

XQuAD ให้โมเดลใช้คำถามและบทอ่านชุดเดิมที่แปลเป็นภาษาต่าง ๆ คำถามภาษาอังกฤษ 1,190 ข้อมาจากชุดพัฒนา SQuAD 1.1 ไฟล์แปลที่เราตรวจใช้รหัสคำถามชุดเดียวกัน ถ้าเคยใช้ชุดพัฒนา SQuAD ปรับโมเดล ให้ตรวจว่าคำถามซ้ำกันหรือไม่ก่อนใช้ XQuAD เป็นแบบทดสอบคำถามใหม่ งานวิจัยต้นฉบับของ XQuAD · ตรวจคำถามที่นำมาใช้ซ้ำ

ใช้ Belebele เมื่อต้องการให้โมเดลเลือกหนึ่งในสี่คำตอบ ไฟล์ภาษาและระบบเขียนทั้ง 122 ไฟล์ใช้รหัสคำถามชุดเดียวกัน 900 รหัส บันทึกหมายเลขหรือตัวอักษรของตัวเลือกที่เลือกไว้ ตัวเลือกสองข้ออาจมีข้อความเหมือนกัน จึงอาจดูจากข้อความอย่างเดียวไม่ได้ว่าโมเดลเลือกข้อไหน ถ้าตัดคำถามที่มีปัญหานี้ ให้ใช้รหัสคำถามที่เหลือชุดเดียวกันในทุกภาษาที่นำมาเปรียบเทียบ เปรียบเทียบคะแนนการอ่านข้ามภาษา

เปลี่ยนภาษาคำถาม แต่ใช้บทอ่านเดิม

ใช้ MLQA ถ้าอาจมีผู้พูดภาษาเวียดนามถามเกี่ยวกับเอกสารภาษาอังกฤษ ตัวอย่างเช่น ในไฟล์พัฒนา MLQA ภาษาอังกฤษและเวียดนามที่เราตรวจ มีคำถามร่วมกัน 511 ข้อที่ถามในภาษาใดภาษาหนึ่งได้โดยคงบทอ่านภาษาอังกฤษและคำตอบที่ยอมรับไว้เหมือนเดิมทุกประการ ใช้คำตอบภาษาอังกฤษชุดเดียวกันให้คะแนนทั้งสองรอบ จะได้เห็นว่าอะไรเปลี่ยนเมื่อเปลี่ยนภาษาคำถาม งานวิจัยต้นฉบับของ MLQA · เปรียบเทียบไฟล์ภาษาอังกฤษและเวียดนาม

หากต้องการตรวจแยกว่าบทอ่านช่วยแค่ไหน ให้ถามคำถามชุดเดียวกันทั้งแบบให้บทอ่านและแบบไม่ให้บทอ่าน ตรวจว่าโมเดลใช้บทอ่านหรือไม่

ตรวจว่าแบบทดสอบมีภาษาที่ต้องการ

สำหรับภาษาไทย ใช้ TyDiQA-SelectP เพื่อตรวจว่าโมเดลหาส่วนที่ถูกต้องได้ไหม ใช้ XQuAD เพื่อตรวจว่าหาคำที่เป็นคำตอบในบทอ่านที่ให้มาได้ไหม หรือใช้ Belebele เพื่อตรวจว่าเลือกคำตอบถูกไหม ไฟล์พัฒนา TyDiQA-GoldP ไม่มีคำถามภาษาไทย มีเพียงภาษาอาหรับและอังกฤษที่พบในไฟล์ทั้งสี่กลุ่มที่เปรียบเทียบ ได้แก่ TyDi QA ชุดหลัก, TyDi QA Gold Passage, XQuAD และไฟล์พัฒนา MLQA ที่คำถามกับบทอ่านใช้ภาษาเดียวกัน ตรวจภาษาที่รองรับ · ไฟล์ภาษาของ Belebele

เมื่อรายงานคะแนน ให้ระบุชื่องาน ภาษา และจำนวนคำถามที่นำมาคิดคะแนนแต่ละค่า ตัวอย่างเช่น วิธีให้คะแนนอย่างเป็นทางการของ TyDi QA ทั้งสองแบบไม่นำภาษาอังกฤษมาคิดค่าเฉลี่ยรวม แม้ในไฟล์จะมีภาษาอังกฤษ เอกสารการให้คะแนน TyDi QA