# วิธีตรวจว่าโมเดลใช้บทอ่านหรือไม่

ถามโมเดลด้วยคำถามชุดเดิมสองครั้ง ครั้งหนึ่งให้บทอ่าน อีกครั้งไม่ให้ ใช้คำถาม ตัวเลือก และเกณฑ์ให้คะแนนเดิม เปรียบเทียบคะแนนเพื่อดูว่าบทอ่านช่วยตอบได้มากเพียงใด สำหรับข้อเลือกตอบ ให้ทดสอบอีกรอบด้วยตัวเลือกอย่างเดียว ใน Belebele กฎที่เลือกคำตอบสั้นที่สุดเสมอได้ 27.03% จากแบบทดสอบทั้งหมด ถ้าสุ่มเดาโดยให้ทุกตัวเลือกมีโอกาสเท่ากัน คะแนนคาดหมายคือ 25% [การตรวจความยาวคำตอบใน Belebele](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## เปลี่ยนข้อมูลที่ให้ทีละอย่าง

| สิ่งที่โมเดลได้รับ | สิ่งที่เปรียบเทียบ |
| --- | --- |
| บทอ่าน คำถาม และตัวเลือก | ความถี่ที่ตอบถูกเมื่อได้รับข้อมูลครบ |
| คำถามและตัวเลือก | ความถี่ที่ตอบถูกเมื่อไม่มีบทอ่าน |
| ตัวเลือกอย่างเดียว | ความถี่ที่ตอบถูกจากตัวเลือกอย่างเดียว |

ใช้โมเดลและการตั้งค่าเดียวกันทุกครั้ง นับจำนวนคำตอบผิดที่กลายเป็นถูกเมื่อเพิ่มบทอ่าน และจำนวนคำตอบที่เปลี่ยนจากถูกเป็นผิด ตัวเลขเหล่านี้อธิบายได้ว่าทำไมคะแนนเปลี่ยนน้อยทั้งที่สองรอบตอบถูกคนละข้อ สำหรับข้อเขียน ให้เปรียบเทียบสองรอบแรกโดยไม่ให้ตัวเลือกและใช้คำตอบที่ยอมรับชุดเดียวกัน

## ดูว่าคำถามข้อใดได้ผลต่างกัน

สมมติว่าโมเดลตอบถูก 70 จาก 100 ข้อในทั้งสองรอบ เมื่อจับคู่คำตอบตามรหัสคำถาม พบว่า 62 ข้อถูกทั้งสองรอบและ 22 ข้อผิดทั้งสองรอบ เมื่อเพิ่มบทอ่าน มีแปดข้อเปลี่ยนจากผิดเป็นถูกและแปดข้อเปลี่ยนจากถูกเป็นผิด คะแนนยังเป็น 70% แต่มี 16 ข้อให้ตรวจว่าบทอ่านช่วยหรือทำให้ตอบแย่ลงตรงไหน

## ลองใช้กฎจับคู่คำแบบง่าย

ผู้เขียน Belebele ตรวจหาคำใบ้จากคำที่ปรากฏร่วมกันและความยาวของคำตอบ พวกเขายังรายงานคะแนน 28% จาก 900 ข้อสำหรับโมเดลที่ดูว่ามีคำใดปรากฏโดยไม่สนใจลำดับ [บทความ Belebele หัวข้อ 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [ภาคผนวก A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

เราใช้กฎเดียวกันกับคำถาม Belebele ชุดเดียวกัน 900 ข้อในภาษาอังกฤษและเวียดนาม โดยลองแบบไม่มีบทอ่าน ใช้บทอ่านที่ตรงกับคำถาม และใช้บทอ่านจากหน้าอื่น สำหรับแต่ละตัวเลือก เรานับสัดส่วนของคำที่ไม่ซ้ำในตัวเลือกที่พบในคำถามหรือบทอ่านที่ให้มา เมื่อไม่มีบทอ่าน จะใช้เฉพาะคำถาม กฎเลือกข้อที่มีสัดส่วนมากที่สุด หากเสมอกันที่อันดับสูงสุด ให้แบ่งหนึ่งคะแนนเท่า ๆ กันและนับเฉพาะส่วนของตัวเลือกที่กำหนดว่าถูก สำหรับแต่ละคำถาม บทอ่านทดแทนภาษาอังกฤษและเวียดนามมาจากหน้าอื่นหน้าเดียวกัน แต่ใช้ภาษาของแต่ละชุด [โค้ด](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [ผลการทดสอบ](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| ภาษา | ไม่มีบทอ่าน | บทอ่านจากหน้าอื่น | บทอ่านที่ตรงกับคำถาม |
| --- | ---: | ---: | ---: |
| อังกฤษ | 24.60% | 26.38% | 28.72% |
| เวียดนาม | 25.98% | 24.80% | 27.17% |

ในการเปรียบเทียบครั้งแรก บทอ่านที่ตรงกับคำถามให้คะแนนสูงที่สุดทั้งสองภาษา จากนั้นเราลองสลับบทอ่านอีก 15 วิธี จากการสลับทั้ง 16 ครั้ง คะแนนภาษาอังกฤษอยู่ระหว่าง 24.60% ถึง 27.89% และภาษาเวียดนามอยู่ระหว่าง 23.58% ถึง 27.84% บทอ่านที่ตรงกับคำถามได้คะแนนสูงกว่าการสลับทั้ง 16 ครั้งในภาษาอังกฤษและ 15 ครั้งในภาษาเวียดนาม ลองใช้บทอ่านทดแทนหลายแบบเพื่อให้ข้อสรุปพึ่งพาหน้าที่เลือกน้อยลง [ผลการสลับทั้งหมด](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

เมื่อเทียบกับการไม่ให้บทอ่าน บทอ่านที่ตรงกับคำถามเพิ่มคะแนนใน 311 ข้อภาษาอังกฤษและ 313 ข้อภาษาเวียดนาม ส่วนที่ได้คะแนนลดลงคือ 218 ข้อภาษาอังกฤษและ 234 ข้อภาษาเวียดนาม หากเปรียบเทียบกฎนี้กับโมเดล ให้ให้คะแนนทั้งสองด้วยคำถามชุดเดียวกัน

## ใช้คำถามและเกณฑ์ให้คะแนนเดิม

บันทึกรหัสคำถามไว้กับทุกคำตอบ ไฟล์ Belebele ทั้ง 122 ไฟล์มีรหัสร่วมกัน 900 รหัส แต่ 52 ไฟล์เรียงต่างจากไฟล์ภาษาอังกฤษ หากตัดคำถามที่ข้อความตัวเลือกซ้ำกัน ให้นำรหัสเดียวกันออกจากทุกรอบที่เปรียบเทียบ เก็บตัวอักษรของตัวเลือกเพื่อให้ระบบแยกตัวเลือกสองข้อที่มีข้อความเดียวกันได้ [การทดสอบลำดับคำถามซ้ำ](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [การกรองคำถาม](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## ตรวจว่าโมเดลอาจเคยเห็นอะไร

คำตอบที่ถูกโดยไม่มีบทอ่านอาจมาจากความรู้เดิม คำใบ้ในคำถามหรือตัวเลือก หรือการเดา หากใช้ชุดพัฒนาของ FLORES-200 ปรับโมเดลที่จะทดสอบด้วย Belebele สามารถตัดคำถามจาก URL เหล่านั้นออกได้ ตรวจตัวข้อความด้วย ในไฟล์ต้นฉบับ คำถามเก้าข้อจาก URL อื่นยังมีประโยคจากชุดพัฒนาในอย่างน้อยหนึ่งภาษาหรือระบบเขียนที่ตรวจ [การตรวจบทอ่าน Belebele](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## คงบทอ่านเดิมเมื่อเปลี่ยนภาษาของคำถาม

หากต้องการดูว่าการถามด้วยอีกภาษาทำให้ผลเปลี่ยนหรือไม่ ให้เปรียบเทียบเรื่องนี้แยกต่างหาก ในไฟล์ MLQA ภาษาอังกฤษและเวียดนามที่ตรวจ มีรหัสคำถาม 511 รหัสที่เปลี่ยนภาษาของคำถามได้โดยคงบทอ่านภาษาอังกฤษและคำตอบที่ยอมรับไว้อย่างเดิม ให้คะแนนทั้งสองรอบด้วยคำตอบภาษาอังกฤษชุดเดียวกัน [คำถาม MLQA ที่จับคู่กัน](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
