หลักฐานประกอบคู่มือการใช้เกณฑ์วัดผลการอ่าน
การตรวจสอบเหล่านี้ใช้ไฟล์ต้นฉบับของ Belebele และ FLORES-200 รวมถึงไฟล์ชุดพัฒนา MLQA ที่เผยแพร่ต่อสาธารณะ Belebele มีตัวเลือกคำตอบ 4 ข้อต่อคำถาม ไฟล์ภาษาและระบบการเขียน 122 ไฟล์ใน ZIP ต้นฉบับใช้ ID คำถามร่วมกัน 900 รายการ ในไฟล์เหล่านี้ แต่ละ ID จับคู่ URL ต้นทางกับหมายเลขคำถาม งานวิจัย Belebele · ดาวน์โหลด Belebele และดูรูปแบบข้อมูล
จับคู่คำตอบกับคำถามที่ถูกต้อง
เราคัดลอกหมายเลขคำตอบที่ระบุว่าเป็นคำตอบที่ถูกต้องจากแต่ละไฟล์ Belebele แล้วจัดเรียงตามลำดับคำถามภาษาอังกฤษ มี 52 ไฟล์ที่เรียงคำถามต่างจากภาษาอังกฤษ เมื่อนำคำตอบที่คัดลอกไปจับคู่กับแต่ละไฟล์ตามหมายเลขแถว ได้คะแนน 73.55% เมื่อจับคู่ตาม ID คำถาม ได้คะแนน 100% จาก 109,800 แถว ในการจับคู่ตามหมายเลขแถว มีคำตอบ 38,876 รายการที่ถูกจับคู่กับคำถามคนละข้อ ในจำนวนนี้ 9,838 รายการยังได้คะแนนเพราะหมายเลขคำตอบตรงกัน
ตรวจว่าตัวเลือกสองข้อใช้ข้อความเดียวกันหรือไม่
ใน 148 แถว มีตัวเลือกอื่นที่มีข้อความตรงกับคำตอบที่ทำเครื่องหมายไว้ทุกประการ เราคัดลอกข้อความของคำตอบที่ทำเครื่องหมายไว้จากทุกแถว การเลือกตัวเลือกแรกที่มีข้อความนั้นทำให้เสีย 16 คะแนน ส่วนการเลือกตัวเลือกสุดท้ายทำให้เสีย 133 คะแนน การตรวจสอบนี้เปรียบเทียบข้อความตามที่จัดเก็บไว้ในไฟล์ ZIP ต้นฉบับทุกประการ
เปรียบเทียบคะแนนจากคำถามชุดเดียวกัน
เมื่อนำ 148 แถวที่ได้รับผลกระทบออกเฉพาะในไฟล์ที่พบ จะเหลือคำถามระหว่าง 894 ถึง 899 ข้อต่อไฟล์ แถวที่ได้รับผลกระทบครอบคลุม ID คำถามที่ไม่ซ้ำกัน 23 รายการ เมื่อนำ ID ทั้ง 23 รายการออกจากทุกไฟล์ จะเหลือคำถามชุดเดียวกัน 877 ข้อในแต่ละไฟล์
ตรวจที่มาของบทอ่าน
ในไฟล์ภาษาอังกฤษ คำถาม 513 ข้ออ้างอิงหน้าที่อยู่ในชุดพัฒนาต้นฉบับของ FLORES-200 สำหรับคำถาม 417 ข้อในจำนวนนี้ เมื่อนำประโยค FLORES ต้นฉบับมาต่อตามลำดับ จะได้ข้อความตรงกับบทอ่าน Belebele ทุกประการ จำนวนบทอ่านที่ตรงกันทุกประการแตกต่างกันไปในไฟล์ภาษาและระบบการเขียนอีก 116 ไฟล์ที่มีอยู่ในชุดข้อมูลทั้งสอง
เรายังตรวจสอบ Belebele 45,279 แถวที่อ้างอิง URL ของชุด devtest ใน FLORES-200 จากไฟล์ภาษาและระบบการเขียน 117 ไฟล์ที่มีอยู่ในชุดข้อมูลทั้งสอง ซึ่งรวมภาษาอังกฤษด้วย พบ ID คำถามที่ไม่ซ้ำกัน 9 รายการ โดยแต่ละรายการมีบทอ่านที่มีประโยคเต็มจากชุดพัฒนาอย่างน้อย 1 ประโยคในไฟล์อย่างน้อย 1 ไฟล์ การตรวจสอบนี้จับคู่ URL ต้นทางและข้อความที่ตรงกันทุกประการในชุดข้อมูลต้นฉบับ เอกสาร FLORES-200 · ชุดข้อมูล FLORES-200 ต้นฉบับ
ตรวจสอบกฎเลือกคำตอบที่สั้นที่สุด
การเลือกคำตอบที่สั้นที่สุดเสมอได้คะแนน 27.03% จากชุดทดสอบ Belebele ทั้งหมด กฎนี้นับจำนวนอักขระหลังปรับอักขระ Unicode ที่สมมูลกันและช่องว่างให้อยู่ในรูปแบบมาตรฐาน หากมีตัวเลือกที่สั้นที่สุดเท่ากัน จะแบ่ง 1 คะแนนให้ตัวเลือกเหล่านั้นเท่าๆ กัน และนับเฉพาะส่วนของคำตอบที่ระบุว่าถูกต้อง การสุ่มเลือกอย่างสม่ำเสมอจาก 4 ตัวเลือกมีคะแนนคาดหมายเท่ากับ 25% ผู้เขียนงานวิจัย Belebele ต้นฉบับใช้คำที่ซ้ำกันและความยาวคำตอบเพื่อตรวจหาเบาะแส นอกจากนี้ยังรายงานผลคะแนน 28% จากคำถาม 900 ข้อ โดยใช้โมเดลที่พิจารณาคำแต่ไม่พิจารณาลำดับคำ งานวิจัย Belebele หัวข้อ 3.2 · ภาคผนวก A.6
เปรียบเทียบคะแนนจากบทอ่าน
เราใช้ ID คำถามชุดเดียวกัน 900 รายการในภาษาอังกฤษและภาษาเวียดนาม กฎนี้เลือกคำตอบที่มีสัดส่วนคำไม่ซ้ำซึ่งปรากฏในคำถามหรือบทอ่านที่ให้ไว้สูงที่สุด เมื่อไม่มีบทอ่าน กฎจะใช้เฉพาะคำถาม หากมีตัวเลือกที่ได้คะแนนเท่ากัน จะแบ่ง 1 คะแนนให้เท่าๆ กัน การทดสอบแทนที่แต่ละครั้งใช้บทอ่านจากหน้าอื่น โดยใช้หน้าต้นทางเดียวกันสำหรับทั้งสองภาษา
| ภาษา | ไม่มีบทอ่าน | บทอ่านแทนที่ครั้งแรก | บทอ่านที่ตรงกับคำถาม | ช่วงคะแนนจากการแทนที่ 16 ครั้ง |
|---|---|---|---|---|
| ภาษาอังกฤษ | 24.60% | 26.38% | 28.72% | 24.60% ถึง 27.89% |
| ภาษาเวียดนาม | 25.98% | 24.80% | 27.17% | 23.58% ถึง 27.84% |
บทอ่านที่ตรงกับคำถามได้คะแนนสูงกว่าบทอ่านแทนที่ทั้ง 16 ครั้งในภาษาอังกฤษ และสูงกว่า 15 ครั้งในภาษาเวียดนาม เมื่อเทียบกับการไม่มีบทอ่าน การใช้บทอ่านที่ตรงกับคำถามทำให้คะแนนเพิ่มขึ้นในคำถาม 311 ข้อสำหรับภาษาอังกฤษและ 313 ข้อสำหรับภาษาเวียดนาม และทำให้คะแนนลดลงในคำถาม 218 ข้อสำหรับภาษาอังกฤษและ 234 ข้อสำหรับภาษาเวียดนาม โค้ดจับคู่คำ · ผลรวม
เปลี่ยนภาษาของคำถาม
ในไฟล์ชุดพัฒนา MLQA ภาษาอังกฤษและภาษาเวียดนาม มี ID คำถาม 511 รายการที่ปรากฏครบทั้ง 4 ชุดภาษาของคำถามและบทอ่าน สำหรับ ID เหล่านี้ เมื่อเปลี่ยนภาษาคำถามจากอังกฤษเป็นเวียดนามโดยคงบทอ่านภาษาอังกฤษไว้ บทอ่านและรายการคำตอบที่ยอมรับยังคงเหมือนเดิมทุกประการ การเปรียบเทียบในลักษณะนี้จึงให้คะแนนการทดสอบทั้งสองครั้งโดยใช้คำตอบภาษาอังกฤษชุดเดียวกัน งานวิจัย MLQA · โครงสร้างไฟล์ MLQA
ตรวจสอบการจับคู่คำซ้ำ
ดาวน์โหลดไฟล์ ZIP ต้นฉบับของ Belebele สคริปต์จับคู่คำ สคริปต์ Python ตัวช่วย และผลรวมที่บันทึกไว้ แล้วนำมาไว้ในโฟลเดอร์เดียวกัน สคริปต์จะตรวจสอบแฮชของชุดข้อมูลและอ่านไฟล์ภาษาอังกฤษและภาษาเวียดนาม จากนั้นรายงานคะแนนเป็นหน่วยคะแนน โดย 12 หน่วยเท่ากับคำตอบที่ถูกต้อง 1 ข้อ ใช้ Python 3.12 เพื่อทำการเปรียบเทียบซ้ำ
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json