# หลักฐานประกอบคู่มือการใช้เกณฑ์วัดผลการอ่าน

การตรวจสอบเหล่านี้ใช้ไฟล์ต้นฉบับของ Belebele และ FLORES-200 รวมถึงไฟล์ชุดพัฒนา MLQA ที่เผยแพร่ต่อสาธารณะ Belebele มีตัวเลือกคำตอบ 4 ข้อต่อคำถาม ไฟล์ภาษาและระบบการเขียน 122 ไฟล์ใน ZIP ต้นฉบับใช้ ID คำถามร่วมกัน 900 รายการ ในไฟล์เหล่านี้ แต่ละ ID จับคู่ URL ต้นทางกับหมายเลขคำถาม [งานวิจัย Belebele](https://aclanthology.org/2024.acl-long.44/) · [ดาวน์โหลด Belebele และดูรูปแบบข้อมูล](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## จับคู่คำตอบกับคำถามที่ถูกต้อง

เราคัดลอกหมายเลขคำตอบที่ระบุว่าเป็นคำตอบที่ถูกต้องจากแต่ละไฟล์ Belebele แล้วจัดเรียงตามลำดับคำถามภาษาอังกฤษ มี 52 ไฟล์ที่เรียงคำถามต่างจากภาษาอังกฤษ เมื่อนำคำตอบที่คัดลอกไปจับคู่กับแต่ละไฟล์ตามหมายเลขแถว ได้คะแนน 73.55% เมื่อจับคู่ตาม ID คำถาม ได้คะแนน 100% จาก 109,800 แถว ในการจับคู่ตามหมายเลขแถว มีคำตอบ 38,876 รายการที่ถูกจับคู่กับคำถามคนละข้อ ในจำนวนนี้ 9,838 รายการยังได้คะแนนเพราะหมายเลขคำตอบตรงกัน

## ตรวจว่าตัวเลือกสองข้อใช้ข้อความเดียวกันหรือไม่

ใน 148 แถว มีตัวเลือกอื่นที่มีข้อความตรงกับคำตอบที่ทำเครื่องหมายไว้ทุกประการ เราคัดลอกข้อความของคำตอบที่ทำเครื่องหมายไว้จากทุกแถว การเลือกตัวเลือกแรกที่มีข้อความนั้นทำให้เสีย 16 คะแนน ส่วนการเลือกตัวเลือกสุดท้ายทำให้เสีย 133 คะแนน การตรวจสอบนี้เปรียบเทียบข้อความตามที่จัดเก็บไว้ในไฟล์ ZIP ต้นฉบับทุกประการ

## เปรียบเทียบคะแนนจากคำถามชุดเดียวกัน

เมื่อนำ 148 แถวที่ได้รับผลกระทบออกเฉพาะในไฟล์ที่พบ จะเหลือคำถามระหว่าง 894 ถึง 899 ข้อต่อไฟล์ แถวที่ได้รับผลกระทบครอบคลุม ID คำถามที่ไม่ซ้ำกัน 23 รายการ เมื่อนำ ID ทั้ง 23 รายการออกจากทุกไฟล์ จะเหลือคำถามชุดเดียวกัน 877 ข้อในแต่ละไฟล์

## ตรวจที่มาของบทอ่าน

ในไฟล์ภาษาอังกฤษ คำถาม 513 ข้ออ้างอิงหน้าที่อยู่ในชุดพัฒนาต้นฉบับของ FLORES-200 สำหรับคำถาม 417 ข้อในจำนวนนี้ เมื่อนำประโยค FLORES ต้นฉบับมาต่อตามลำดับ จะได้ข้อความตรงกับบทอ่าน Belebele ทุกประการ จำนวนบทอ่านที่ตรงกันทุกประการแตกต่างกันไปในไฟล์ภาษาและระบบการเขียนอีก 116 ไฟล์ที่มีอยู่ในชุดข้อมูลทั้งสอง

เรายังตรวจสอบ Belebele 45,279 แถวที่อ้างอิง URL ของชุด `devtest` ใน FLORES-200 จากไฟล์ภาษาและระบบการเขียน 117 ไฟล์ที่มีอยู่ในชุดข้อมูลทั้งสอง ซึ่งรวมภาษาอังกฤษด้วย พบ ID คำถามที่ไม่ซ้ำกัน 9 รายการ โดยแต่ละรายการมีบทอ่านที่มีประโยคเต็มจากชุดพัฒนาอย่างน้อย 1 ประโยคในไฟล์อย่างน้อย 1 ไฟล์ การตรวจสอบนี้จับคู่ URL ต้นทางและข้อความที่ตรงกันทุกประการในชุดข้อมูลต้นฉบับ [เอกสาร FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [ชุดข้อมูล FLORES-200 ต้นฉบับ](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## ตรวจสอบกฎเลือกคำตอบที่สั้นที่สุด

การเลือกคำตอบที่สั้นที่สุดเสมอได้คะแนน 27.03% จากชุดทดสอบ Belebele ทั้งหมด กฎนี้นับจำนวนอักขระหลังปรับอักขระ Unicode ที่สมมูลกันและช่องว่างให้อยู่ในรูปแบบมาตรฐาน หากมีตัวเลือกที่สั้นที่สุดเท่ากัน จะแบ่ง 1 คะแนนให้ตัวเลือกเหล่านั้นเท่าๆ กัน และนับเฉพาะส่วนของคำตอบที่ระบุว่าถูกต้อง การสุ่มเลือกอย่างสม่ำเสมอจาก 4 ตัวเลือกมีคะแนนคาดหมายเท่ากับ 25% ผู้เขียนงานวิจัย Belebele ต้นฉบับใช้คำที่ซ้ำกันและความยาวคำตอบเพื่อตรวจหาเบาะแส นอกจากนี้ยังรายงานผลคะแนน 28% จากคำถาม 900 ข้อ โดยใช้โมเดลที่พิจารณาคำแต่ไม่พิจารณาลำดับคำ [งานวิจัย Belebele หัวข้อ 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [ภาคผนวก A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## เปรียบเทียบคะแนนจากบทอ่าน

เราใช้ ID คำถามชุดเดียวกัน 900 รายการในภาษาอังกฤษและภาษาเวียดนาม กฎนี้เลือกคำตอบที่มีสัดส่วนคำไม่ซ้ำซึ่งปรากฏในคำถามหรือบทอ่านที่ให้ไว้สูงที่สุด เมื่อไม่มีบทอ่าน กฎจะใช้เฉพาะคำถาม หากมีตัวเลือกที่ได้คะแนนเท่ากัน จะแบ่ง 1 คะแนนให้เท่าๆ กัน การทดสอบแทนที่แต่ละครั้งใช้บทอ่านจากหน้าอื่น โดยใช้หน้าต้นทางเดียวกันสำหรับทั้งสองภาษา

| ภาษา | ไม่มีบทอ่าน | บทอ่านแทนที่ครั้งแรก | บทอ่านที่ตรงกับคำถาม | ช่วงคะแนนจากการแทนที่ 16 ครั้ง |
| --- | ---: | ---: | ---: | ---: |
| ภาษาอังกฤษ | 24.60% | 26.38% | 28.72% | 24.60% ถึง 27.89% |
| ภาษาเวียดนาม | 25.98% | 24.80% | 27.17% | 23.58% ถึง 27.84% |

บทอ่านที่ตรงกับคำถามได้คะแนนสูงกว่าบทอ่านแทนที่ทั้ง 16 ครั้งในภาษาอังกฤษ และสูงกว่า 15 ครั้งในภาษาเวียดนาม เมื่อเทียบกับการไม่มีบทอ่าน การใช้บทอ่านที่ตรงกับคำถามทำให้คะแนนเพิ่มขึ้นในคำถาม 311 ข้อสำหรับภาษาอังกฤษและ 313 ข้อสำหรับภาษาเวียดนาม และทำให้คะแนนลดลงในคำถาม 218 ข้อสำหรับภาษาอังกฤษและ 234 ข้อสำหรับภาษาเวียดนาม [โค้ดจับคู่คำ](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [ผลรวม](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## เปลี่ยนภาษาของคำถาม

ในไฟล์ชุดพัฒนา MLQA ภาษาอังกฤษและภาษาเวียดนาม มี ID คำถาม 511 รายการที่ปรากฏครบทั้ง 4 ชุดภาษาของคำถามและบทอ่าน สำหรับ ID เหล่านี้ เมื่อเปลี่ยนภาษาคำถามจากอังกฤษเป็นเวียดนามโดยคงบทอ่านภาษาอังกฤษไว้ บทอ่านและรายการคำตอบที่ยอมรับยังคงเหมือนเดิมทุกประการ การเปรียบเทียบในลักษณะนี้จึงให้คะแนนการทดสอบทั้งสองครั้งโดยใช้คำตอบภาษาอังกฤษชุดเดียวกัน [งานวิจัย MLQA](https://aclanthology.org/2020.acl-main.653/) · [โครงสร้างไฟล์ MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## ตรวจสอบการจับคู่คำซ้ำ

ดาวน์โหลด[ไฟล์ ZIP ต้นฉบับของ Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip) [สคริปต์จับคู่คำ](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) [สคริปต์ Python ตัวช่วย](https://sapien1.com/research/reading-benchmark-evidence/check.py) และ[ผลรวมที่บันทึกไว้](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json) แล้วนำมาไว้ในโฟลเดอร์เดียวกัน สคริปต์จะตรวจสอบแฮชของชุดข้อมูลและอ่านไฟล์ภาษาอังกฤษและภาษาเวียดนาม จากนั้นรายงานคะแนนเป็นหน่วยคะแนน โดย 12 หน่วยเท่ากับคำตอบที่ถูกต้อง 1 ข้อ ใช้ Python 3.12 เพื่อทำการเปรียบเทียบซ้ำ

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
