# วิธีเลือกแบบทดสอบความเข้าใจในการอ่านหลายภาษา

เลือกแบบทดสอบที่ให้โมเดลทำสิ่งที่ผู้ใช้ต้องการ การหาบทอ่านให้เจอ การตอบจากบทอ่านที่ให้มา และการเข้าใจคำถามในอีกภาษาเป็นคนละทักษะ ลองทดสอบแยกกันเพื่อดูว่าขั้นตอนไหนควรตรวจให้ละเอียดขึ้น

| อยากตรวจอะไร | เริ่มจากอะไร | โมเดลต้องทำอะไร |
| --- | --- | --- |
| หาส่วนที่ถูกต้องในบทความได้ไหม | TyDiQA-SelectP | เลือกช่วงหนึ่งจากบทความหรือระบุว่าไม่มีช่วงไหนตอบคำถามได้ |
| หาคำที่ใช้ตอบคำถามได้ไหม | TyDiQA-GoldP | ดึงคำที่เป็นคำตอบจากบทอ่านที่มีคำตอบนั้นอยู่ |
| ตอบคำถามชุดเดียวกันในหลายภาษาได้ไหม | XQuAD หรือ Belebele | ตอบจากบทอ่านที่แปลแล้วใน XQuAD หรือเลือกหนึ่งในสี่คำตอบใน Belebele |
| ตอบได้ไหมเมื่อคำถามกับบทอ่านใช้คนละภาษา | MLQA | หาคำตอบในบทอ่านที่เขียนด้วยอีกภาษา |

## ตรวจว่าโมเดลหาคำตอบได้หรือไม่

ใช้ TyDiQA-SelectP ถ้าโมเดลต้องหาส่วนที่ถูกต้องในบทความ ใช้ TyDiQA-MinSpan ถ้าโมเดลต้องตอบสั้น ๆ ตอบว่าใช่หรือไม่ใช่ หรือระบุว่าบทความไม่มีคำตอบ คนเขียนคำถาม TyDi QA ขึ้นโดยตรงในแต่ละภาษา [คำอธิบายงานของ TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

หากอยากรู้ว่าบทอ่านสั้นลงช่วยได้แค่ไหน ให้โมเดลตัวเดิมเขียนคำตอบสองรอบ รอบแรกให้บทความเต็ม รอบที่สองให้ส่วนที่คัดจากบทความเดียวกันโดยไม่เปลี่ยนข้อความ คงการตั้งค่า คำถาม รูปแบบคำตอบ คำตอบที่ยอมรับ และกติกาการให้คะแนนเดิม ตรวจว่าคำตอบที่ยอมรับทุกคำตอบปรากฏในข้อความทั้งสอง ถ้าใช้รายการจาก Gold Passage ตามที่เผยแพร่ ให้ตรวจบทอ่านและรายการคำตอบก่อน สองไฟล์อาจใช้คำถามเดียวกันแม้บทอ่านหรือคำตอบที่ยอมรับจะต่างกัน ใช้ไฟล์พัฒนาของ TyDi QA ช่วยเตรียมการเปรียบเทียบนี้ได้ คำถาม Gold Passage ทั้ง 5,077 ข้อมีอยู่ในชุดหลักที่มี 18,670 ข้อด้วย Gold Passage ไม่มีภาษาญี่ปุ่นและภาษาไทย และในเก้าภาษาที่ทั้งสองไฟล์มีร่วมกัน ยังตัดคำถามที่ทำเครื่องหมายคำตอบแบบเขียนไว้อีก 1,285 ข้อ จับคู่ตามภาษา ชื่อบทความ และข้อความคำถามที่ตรงกันทุกคำ ใช้เฉพาะคู่ที่ตรงกันแบบหนึ่งต่อหนึ่ง [เปรียบเทียบคำถาม TyDi QA](https://sapien1.com/th/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## ใช้คำถามชุดเดียวกันเมื่อเปรียบเทียบภาษา

XQuAD ให้โมเดลใช้คำถามและบทอ่านชุดเดิมที่แปลเป็นภาษาต่าง ๆ คำถามภาษาอังกฤษ 1,190 ข้อมาจากชุดพัฒนา SQuAD 1.1 ไฟล์แปลที่เราตรวจใช้รหัสคำถามชุดเดียวกัน ถ้าเคยใช้ชุดพัฒนา SQuAD ปรับโมเดล ให้ตรวจว่าคำถามซ้ำกันหรือไม่ก่อนใช้ XQuAD เป็นแบบทดสอบคำถามใหม่ [งานวิจัยต้นฉบับของ XQuAD](https://aclanthology.org/2020.acl-main.421/) · [ตรวจคำถามที่นำมาใช้ซ้ำ](https://sapien1.com/th/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

ใช้ Belebele เมื่อต้องการให้โมเดลเลือกหนึ่งในสี่คำตอบ ไฟล์ภาษาและระบบเขียนทั้ง 122 ไฟล์ใช้รหัสคำถามชุดเดียวกัน 900 รหัส บันทึกหมายเลขหรือตัวอักษรของตัวเลือกที่เลือกไว้ ตัวเลือกสองข้ออาจมีข้อความเหมือนกัน จึงอาจดูจากข้อความอย่างเดียวไม่ได้ว่าโมเดลเลือกข้อไหน ถ้าตัดคำถามที่มีปัญหานี้ ให้ใช้รหัสคำถามที่เหลือชุดเดียวกันในทุกภาษาที่นำมาเปรียบเทียบ [เปรียบเทียบคะแนนการอ่านข้ามภาษา](https://sapien1.com/th/research/cross-language-reading-scores)

## เปลี่ยนภาษาคำถาม แต่ใช้บทอ่านเดิม

ใช้ MLQA ถ้าอาจมีผู้พูดภาษาเวียดนามถามเกี่ยวกับเอกสารภาษาอังกฤษ ตัวอย่างเช่น ในไฟล์พัฒนา MLQA ภาษาอังกฤษและเวียดนามที่เราตรวจ มีคำถามร่วมกัน 511 ข้อที่ถามในภาษาใดภาษาหนึ่งได้โดยคงบทอ่านภาษาอังกฤษและคำตอบที่ยอมรับไว้เหมือนเดิมทุกประการ ใช้คำตอบภาษาอังกฤษชุดเดียวกันให้คะแนนทั้งสองรอบ จะได้เห็นว่าอะไรเปลี่ยนเมื่อเปลี่ยนภาษาคำถาม [งานวิจัยต้นฉบับของ MLQA](https://aclanthology.org/2020.acl-main.653/) · [เปรียบเทียบไฟล์ภาษาอังกฤษและเวียดนาม](https://sapien1.com/th/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

หากต้องการตรวจแยกว่าบทอ่านช่วยแค่ไหน ให้ถามคำถามชุดเดียวกันทั้งแบบให้บทอ่านและแบบไม่ให้บทอ่าน [ตรวจว่าโมเดลใช้บทอ่านหรือไม่](https://sapien1.com/th/research/does-the-model-use-the-passage)

## ตรวจว่าแบบทดสอบมีภาษาที่ต้องการ

สำหรับภาษาไทย ใช้ TyDiQA-SelectP เพื่อตรวจว่าโมเดลหาส่วนที่ถูกต้องได้ไหม ใช้ XQuAD เพื่อตรวจว่าหาคำที่เป็นคำตอบในบทอ่านที่ให้มาได้ไหม หรือใช้ Belebele เพื่อตรวจว่าเลือกคำตอบถูกไหม ไฟล์พัฒนา TyDiQA-GoldP ไม่มีคำถามภาษาไทย มีเพียงภาษาอาหรับและอังกฤษที่พบในไฟล์ทั้งสี่กลุ่มที่เปรียบเทียบ ได้แก่ TyDi QA ชุดหลัก, TyDi QA Gold Passage, XQuAD และไฟล์พัฒนา MLQA ที่คำถามกับบทอ่านใช้ภาษาเดียวกัน [ตรวจภาษาที่รองรับ](https://sapien1.com/th/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [ไฟล์ภาษาของ Belebele](https://sapien1.com/th/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

เมื่อรายงานคะแนน ให้ระบุชื่องาน ภาษา และจำนวนคำถามที่นำมาคิดคะแนนแต่ละค่า ตัวอย่างเช่น วิธีให้คะแนนอย่างเป็นทางการของ TyDi QA ทั้งสองแบบไม่นำภาษาอังกฤษมาคิดค่าเฉลี่ยรวม แม้ในไฟล์จะมีภาษาอังกฤษ [เอกสารการให้คะแนน TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
