# วิธีเปรียบเทียบคะแนนการอ่านแบบเลือกตอบข้ามภาษา

ใช้คำถามและเกณฑ์ให้คะแนนเดียวกันทุกภาษา ตรวจว่ามีตัวเลือกที่ข้อความซ้ำกันหรือบทอ่านที่โมเดลอาจเคยเห็นหรือไม่ ใน Belebele ซึ่งเป็นแบบทดสอบการอ่านหลายภาษา เราคัดลอกหมายเลขคำตอบที่ถูกต้องจากแต่ละไฟล์ แล้วเรียงตามลำดับคำถามภาษาอังกฤษ การจับคู่กับแต่ละไฟล์ตามหมายเลขแถวให้คะแนน 73.55% ส่วนการจับคู่ตามรหัสคำถามให้ 100% [การคำนวณคะแนน Belebele ซ้ำ](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## จับคู่คำตอบกับคำถามที่ถูกต้อง

บันทึกภาษา รหัสคำถาม และหมายเลขหรือตัวอักษรของตัวเลือกที่เลือกไว้กับทุกคำตอบ ไฟล์ Belebele ทั้ง 122 ไฟล์ใช้รหัสคำถามชุดเดียวกัน 900 รหัส แต่ 52 ไฟล์เรียงคำถามต่างจากไฟล์ภาษาอังกฤษ เมื่อจับคู่ตามหมายเลขแถว คำตอบ 9,838 รายการที่จับผิดคำถามยังได้คะแนนเพราะหมายเลขตัวเลือกบังเอิญตรงกัน [การตรวจลำดับคำถาม](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## ตรวจว่าตัวเลือกสองข้อใช้ข้อความเดียวกันหรือไม่

สมมติว่าตัวเลือก B และ D ระบุ `12` เหมือนกัน และไฟล์กำหนดให้ B ถูก คำตอบ `12` บอกข้อความของคำตอบ หากจะให้คะแนนตามตำแหน่ง ต้องมีตัวอักษรของตัวเลือก ใน Belebele มี 148 แถวที่ข้อความของคำตอบที่ถูกกำหนดไว้ซ้ำกัน เมื่อคัดลอกข้อความตามต้นฉบับ การเลือกข้อแรกที่ตรงกันทำให้เสีย 16 คะแนน ส่วนการเลือกข้อสุดท้ายทำให้เสีย 133 คะแนน ตัดสินใจก่อนว่าจะให้คะแนนตามป้ายกำกับหรือข้อความของตัวเลือก แล้วใช้เกณฑ์เดียวกันตรวจตัวเลือก [ตัวเลือกคำตอบซ้ำ](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## เปรียบเทียบคะแนนจากคำถามชุดเดียวกัน

หากนำแถวที่มีคำตอบซ้ำ 148 แถวออกเฉพาะในไฟล์ที่พบ แต่ละภาษาจะเหลือ 894 ถึง 899 คำถาม หากต้องการเปรียบเทียบด้วยคำถามชุดเดียวกันทุกภาษา ให้นำรหัสคำถามที่ได้รับผลกระทบทั้ง 23 รหัสออกจากทุกไฟล์ จะเหลือคำถามร่วมกัน 877 ข้อ รายงานทั้งจำนวนเดิมและจำนวนที่นำมาให้คะแนน [การเปรียบเทียบการกรองคำถาม](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## ตรวจว่าโมเดลอาจเคยเห็นบทอ่านใด

ถ้าใช้ชุดพัฒนาของ FLORES-200 ปรับโมเดล ให้ตรวจว่าบทอ่านเดียวกันปรากฏใน Belebele หรือไม่ ในไฟล์ภาษาอังกฤษ คำถาม 513 ข้ออ้างถึงหน้าที่ใช้ในชุดพัฒนา สำหรับ 417 ข้อ เมื่อนำประโยคจาก FLORES มาต่อกัน จะได้บทอ่าน Belebele ตรงกันทุกประการ จำนวนที่ตรงกันแตกต่างกันในไฟล์ภาษาและระบบเขียนอื่นอีก 116 ไฟล์ที่ทั้งสองชุดข้อมูลมีร่วมกัน ตรวจข้อความในภาษาที่กำลังทดสอบ [การใช้บทอ่านภาษาอังกฤษซ้ำ](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [การใช้บทอ่านแปลซ้ำ](https://sapien1.com/th/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
