ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีเปรียบเทียบคะแนนการอ่านแบบเลือกตอบข้ามภาษา

ภาษาของบทความ: ไทย

ใช้คำถามและเกณฑ์ให้คะแนนเดียวกันทุกภาษา ตรวจว่ามีตัวเลือกที่ข้อความซ้ำกันหรือบทอ่านที่โมเดลอาจเคยเห็นหรือไม่ ใน Belebele ซึ่งเป็นแบบทดสอบการอ่านหลายภาษา เราคัดลอกหมายเลขคำตอบที่ถูกต้องจากแต่ละไฟล์ แล้วเรียงตามลำดับคำถามภาษาอังกฤษ การจับคู่กับแต่ละไฟล์ตามหมายเลขแถวให้คะแนน 73.55% ส่วนการจับคู่ตามรหัสคำถามให้ 100% การคำนวณคะแนน Belebele ซ้ำ

จับคู่คำตอบกับคำถามที่ถูกต้อง

บันทึกภาษา รหัสคำถาม และหมายเลขหรือตัวอักษรของตัวเลือกที่เลือกไว้กับทุกคำตอบ ไฟล์ Belebele ทั้ง 122 ไฟล์ใช้รหัสคำถามชุดเดียวกัน 900 รหัส แต่ 52 ไฟล์เรียงคำถามต่างจากไฟล์ภาษาอังกฤษ เมื่อจับคู่ตามหมายเลขแถว คำตอบ 9,838 รายการที่จับผิดคำถามยังได้คะแนนเพราะหมายเลขตัวเลือกบังเอิญตรงกัน การตรวจลำดับคำถาม

ตรวจว่าตัวเลือกสองข้อใช้ข้อความเดียวกันหรือไม่

สมมติว่าตัวเลือก B และ D ระบุ 12 เหมือนกัน และไฟล์กำหนดให้ B ถูก คำตอบ 12 บอกข้อความของคำตอบ หากจะให้คะแนนตามตำแหน่ง ต้องมีตัวอักษรของตัวเลือก ใน Belebele มี 148 แถวที่ข้อความของคำตอบที่ถูกกำหนดไว้ซ้ำกัน เมื่อคัดลอกข้อความตามต้นฉบับ การเลือกข้อแรกที่ตรงกันทำให้เสีย 16 คะแนน ส่วนการเลือกข้อสุดท้ายทำให้เสีย 133 คะแนน ตัดสินใจก่อนว่าจะให้คะแนนตามป้ายกำกับหรือข้อความของตัวเลือก แล้วใช้เกณฑ์เดียวกันตรวจตัวเลือก ตัวเลือกคำตอบซ้ำ

เปรียบเทียบคะแนนจากคำถามชุดเดียวกัน

หากนำแถวที่มีคำตอบซ้ำ 148 แถวออกเฉพาะในไฟล์ที่พบ แต่ละภาษาจะเหลือ 894 ถึง 899 คำถาม หากต้องการเปรียบเทียบด้วยคำถามชุดเดียวกันทุกภาษา ให้นำรหัสคำถามที่ได้รับผลกระทบทั้ง 23 รหัสออกจากทุกไฟล์ จะเหลือคำถามร่วมกัน 877 ข้อ รายงานทั้งจำนวนเดิมและจำนวนที่นำมาให้คะแนน การเปรียบเทียบการกรองคำถาม

ตรวจว่าโมเดลอาจเคยเห็นบทอ่านใด

ถ้าใช้ชุดพัฒนาของ FLORES-200 ปรับโมเดล ให้ตรวจว่าบทอ่านเดียวกันปรากฏใน Belebele หรือไม่ ในไฟล์ภาษาอังกฤษ คำถาม 513 ข้ออ้างถึงหน้าที่ใช้ในชุดพัฒนา สำหรับ 417 ข้อ เมื่อนำประโยคจาก FLORES มาต่อกัน จะได้บทอ่าน Belebele ตรงกันทุกประการ จำนวนที่ตรงกันแตกต่างกันในไฟล์ภาษาและระบบเขียนอื่นอีก 116 ไฟล์ที่ทั้งสองชุดข้อมูลมีร่วมกัน ตรวจข้อความในภาษาที่กำลังทดสอบ การใช้บทอ่านภาษาอังกฤษซ้ำ · การใช้บทอ่านแปลซ้ำ