งานวิจัย
วิธีตรวจว่าโมเดลใช้บทอ่านหรือไม่
ถามโมเดลด้วยคำถามชุดเดิมสองครั้ง ครั้งหนึ่งให้บทอ่าน อีกครั้งไม่ให้ ใช้คำถาม ตัวเลือก และเกณฑ์ให้คะแนนเดิม เปรียบเทียบคะแนนเพื่อดูว่าบทอ่านช่วยตอบได้มากเพียงใด สำหรับข้อเลือกตอบ ให้ทดสอบอีกรอบด้วยตัวเลือกอย่างเดียว ใน Belebele กฎที่เลือกคำตอบสั้นที่สุดเสมอได้ 27.03% จากแบบทดสอบทั้งหมด ถ้าสุ่มเดาโดยให้ทุกตัวเลือกมีโอกาสเท่ากัน คะแนนคาดหมายคือ 25% การตรวจความยาวคำตอบใน Belebele
เปลี่ยนข้อมูลที่ให้ทีละอย่าง
| สิ่งที่โมเดลได้รับ | สิ่งที่เปรียบเทียบ |
|---|---|
| บทอ่าน คำถาม และตัวเลือก | ความถี่ที่ตอบถูกเมื่อได้รับข้อมูลครบ |
| คำถามและตัวเลือก | ความถี่ที่ตอบถูกเมื่อไม่มีบทอ่าน |
| ตัวเลือกอย่างเดียว | ความถี่ที่ตอบถูกจากตัวเลือกอย่างเดียว |
ใช้โมเดลและการตั้งค่าเดียวกันทุกครั้ง นับจำนวนคำตอบผิดที่กลายเป็นถูกเมื่อเพิ่มบทอ่าน และจำนวนคำตอบที่เปลี่ยนจากถูกเป็นผิด ตัวเลขเหล่านี้อธิบายได้ว่าทำไมคะแนนเปลี่ยนน้อยทั้งที่สองรอบตอบถูกคนละข้อ สำหรับข้อเขียน ให้เปรียบเทียบสองรอบแรกโดยไม่ให้ตัวเลือกและใช้คำตอบที่ยอมรับชุดเดียวกัน
ดูว่าคำถามข้อใดได้ผลต่างกัน
สมมติว่าโมเดลตอบถูก 70 จาก 100 ข้อในทั้งสองรอบ เมื่อจับคู่คำตอบตามรหัสคำถาม พบว่า 62 ข้อถูกทั้งสองรอบและ 22 ข้อผิดทั้งสองรอบ เมื่อเพิ่มบทอ่าน มีแปดข้อเปลี่ยนจากผิดเป็นถูกและแปดข้อเปลี่ยนจากถูกเป็นผิด คะแนนยังเป็น 70% แต่มี 16 ข้อให้ตรวจว่าบทอ่านช่วยหรือทำให้ตอบแย่ลงตรงไหน
ลองใช้กฎจับคู่คำแบบง่าย
ผู้เขียน Belebele ตรวจหาคำใบ้จากคำที่ปรากฏร่วมกันและความยาวของคำตอบ พวกเขายังรายงานคะแนน 28% จาก 900 ข้อสำหรับโมเดลที่ดูว่ามีคำใดปรากฏโดยไม่สนใจลำดับ บทความ Belebele หัวข้อ 3.2 · ภาคผนวก A.6
เราใช้กฎเดียวกันกับคำถาม Belebele ชุดเดียวกัน 900 ข้อในภาษาอังกฤษและเวียดนาม โดยลองแบบไม่มีบทอ่าน ใช้บทอ่านที่ตรงกับคำถาม และใช้บทอ่านจากหน้าอื่น สำหรับแต่ละตัวเลือก เรานับสัดส่วนของคำที่ไม่ซ้ำในตัวเลือกที่พบในคำถามหรือบทอ่านที่ให้มา เมื่อไม่มีบทอ่าน จะใช้เฉพาะคำถาม กฎเลือกข้อที่มีสัดส่วนมากที่สุด หากเสมอกันที่อันดับสูงสุด ให้แบ่งหนึ่งคะแนนเท่า ๆ กันและนับเฉพาะส่วนของตัวเลือกที่กำหนดว่าถูก สำหรับแต่ละคำถาม บทอ่านทดแทนภาษาอังกฤษและเวียดนามมาจากหน้าอื่นหน้าเดียวกัน แต่ใช้ภาษาของแต่ละชุด โค้ด · ผลการทดสอบ
| ภาษา | ไม่มีบทอ่าน | บทอ่านจากหน้าอื่น | บทอ่านที่ตรงกับคำถาม |
|---|---|---|---|
| อังกฤษ | 24.60% | 26.38% | 28.72% |
| เวียดนาม | 25.98% | 24.80% | 27.17% |
ในการเปรียบเทียบครั้งแรก บทอ่านที่ตรงกับคำถามให้คะแนนสูงที่สุดทั้งสองภาษา จากนั้นเราลองสลับบทอ่านอีก 15 วิธี จากการสลับทั้ง 16 ครั้ง คะแนนภาษาอังกฤษอยู่ระหว่าง 24.60% ถึง 27.89% และภาษาเวียดนามอยู่ระหว่าง 23.58% ถึง 27.84% บทอ่านที่ตรงกับคำถามได้คะแนนสูงกว่าการสลับทั้ง 16 ครั้งในภาษาอังกฤษและ 15 ครั้งในภาษาเวียดนาม ลองใช้บทอ่านทดแทนหลายแบบเพื่อให้ข้อสรุปพึ่งพาหน้าที่เลือกน้อยลง ผลการสลับทั้งหมด
เมื่อเทียบกับการไม่ให้บทอ่าน บทอ่านที่ตรงกับคำถามเพิ่มคะแนนใน 311 ข้อภาษาอังกฤษและ 313 ข้อภาษาเวียดนาม ส่วนที่ได้คะแนนลดลงคือ 218 ข้อภาษาอังกฤษและ 234 ข้อภาษาเวียดนาม หากเปรียบเทียบกฎนี้กับโมเดล ให้ให้คะแนนทั้งสองด้วยคำถามชุดเดียวกัน
ใช้คำถามและเกณฑ์ให้คะแนนเดิม
บันทึกรหัสคำถามไว้กับทุกคำตอบ ไฟล์ Belebele ทั้ง 122 ไฟล์มีรหัสร่วมกัน 900 รหัส แต่ 52 ไฟล์เรียงต่างจากไฟล์ภาษาอังกฤษ หากตัดคำถามที่ข้อความตัวเลือกซ้ำกัน ให้นำรหัสเดียวกันออกจากทุกรอบที่เปรียบเทียบ เก็บตัวอักษรของตัวเลือกเพื่อให้ระบบแยกตัวเลือกสองข้อที่มีข้อความเดียวกันได้ การทดสอบลำดับคำถามซ้ำ · การกรองคำถาม
ตรวจว่าโมเดลอาจเคยเห็นอะไร
คำตอบที่ถูกโดยไม่มีบทอ่านอาจมาจากความรู้เดิม คำใบ้ในคำถามหรือตัวเลือก หรือการเดา หากใช้ชุดพัฒนาของ FLORES-200 ปรับโมเดลที่จะทดสอบด้วย Belebele สามารถตัดคำถามจาก URL เหล่านั้นออกได้ ตรวจตัวข้อความด้วย ในไฟล์ต้นฉบับ คำถามเก้าข้อจาก URL อื่นยังมีประโยคจากชุดพัฒนาในอย่างน้อยหนึ่งภาษาหรือระบบเขียนที่ตรวจ การตรวจบทอ่าน Belebele
คงบทอ่านเดิมเมื่อเปลี่ยนภาษาของคำถาม
หากต้องการดูว่าการถามด้วยอีกภาษาทำให้ผลเปลี่ยนหรือไม่ ให้เปรียบเทียบเรื่องนี้แยกต่างหาก ในไฟล์ MLQA ภาษาอังกฤษและเวียดนามที่ตรวจ มีรหัสคำถาม 511 รหัสที่เปลี่ยนภาษาของคำถามได้โดยคงบทอ่านภาษาอังกฤษและคำตอบที่ยอมรับไว้อย่างเดิม ให้คะแนนทั้งสองรอบด้วยคำตอบภาษาอังกฤษชุดเดียวกัน คำถาม MLQA ที่จับคู่กัน