# Bukti untuk panduan penanda aras bacaan

Semakan ini menggunakan arkib asal Belebele dan FLORES-200 serta fail pembangunan MLQA yang tersedia secara umum. Belebele mempunyai 4 pilihan jawapan bagi setiap soalan. Sebanyak 122 fail bahasa dan skrip dalam ZIP asal berkongsi 900 ID soalan. Dalam fail ini, setiap ID memadankan URL sumber dengan nombor soalan. [Kertas penyelidikan Belebele](https://aclanthology.org/2024.acl-long.44/) · [Muat turun dan format Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Padankan jawapan dengan soalan

Kami menyalin nombor jawapan yang ditandakan daripada setiap fail Belebele dan menyusunnya mengikut urutan soalan bahasa Inggeris. Sebanyak 52 fail menyenaraikan soalan dalam urutan yang berbeza daripada bahasa Inggeris. Pemadanan jawapan yang disalin dengan setiap fail mengikut nombor baris menghasilkan skor 73.55%. Pemadanan mengikut ID soalan menghasilkan skor 100% merentas 109,800 baris. Apabila dipadankan mengikut nombor baris, 38,876 jawapan dipadankan dengan soalan yang berbeza. Daripada jumlah itu, 9,838 masih mendapat markah kerana nombor jawapannya sepadan.

## Semak sama ada teks jawapan berulang

Dalam 148 baris, satu lagi pilihan mempunyai teks yang sama tepat dengan jawapan yang ditandakan. Kami menyalin teks jawapan yang ditandakan daripada setiap baris. Pemilihan pilihan pertama dengan teks tersebut menyebabkan kehilangan 16 kredit. Pemilihan pilihan terakhir menyebabkan kehilangan 133 kredit. Semakan ini membandingkan teks tepat seperti yang disimpan dalam ZIP asal.

## Gunakan soalan yang sama

Jika 148 baris yang terjejas dibuang hanya daripada fail yang mengandunginya, antara 894 hingga 899 soalan akan tinggal dalam setiap fail. Baris yang terjejas meliputi 23 ID soalan yang berbeza. Jika semua 23 ID dibuang daripada setiap fail, 877 soalan yang sama akan tinggal dalam setiap fail.

## Semak sumber petikan

Dalam fail bahasa Inggeris, 513 soalan merujuk kepada halaman dalam set pembangunan asal FLORES-200. Bagi 417 soalan tersebut, ayat asal FLORES yang digabungkan mengikut urutan menghasilkan semula petikan Belebele dengan tepat. Bilangan padanan tepat berbeza antara 116 fail bahasa dan skrip lain yang terdapat dalam kedua-dua arkib.

Kami juga menyemak 45,279 baris Belebele yang merujuk kepada URL `devtest` FLORES-200 merentas 117 fail bahasa dan skrip yang terdapat dalam kedua-dua arkib, termasuk bahasa Inggeris. Sebanyak 9 ID soalan yang berbeza masing-masing mempunyai petikan yang mengandungi satu ayat lengkap daripada set pembangunan dalam sekurang-kurangnya satu fail. Semakan ini memadankan URL sumber dan teks yang sama tepat dalam arkib sumber. [Dokumentasi FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Arkib asal FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Semak peraturan jawapan terpendek

Memilih jawapan terpendek setiap kali menghasilkan skor 27.03% bagi keseluruhan ujian Belebele. Peraturan ini mengira aksara selepas menyeragamkan aksara Unicode yang setara dan ruang putih. Jika beberapa pilihan sama pendek, satu markah dibahagikan sama rata antara pilihan tersebut dan hanya bahagian jawapan yang ditandakan dikira. Tekaan rawak dengan kebarangkalian yang sama bagi setiap 4 pilihan mempunyai skor jangkaan 25%. Penulis asal Belebele menggunakan pertindihan perkataan dan panjang jawapan untuk menyemak petunjuk. Mereka juga melaporkan keputusan 28% bagi 900 soalan daripada model yang menggunakan perkataan tanpa mengambil kira susunannya. [Kertas penyelidikan Belebele, bahagian 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Lampiran A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Bandingkan skor mengikut petikan

Kami menggunakan 900 ID soalan yang sama dalam bahasa Inggeris dan Vietnam. Peraturan ini memilih jawapan yang mempunyai perkadaran tertinggi perkataan unik yang turut muncul dalam soalan atau petikan yang diberikan. Tanpa petikan, peraturan ini hanya menggunakan soalan. Pilihan yang mendapat skor sama membahagikan satu markah secara sama rata. Setiap ujian penggantian mengambil petikan daripada halaman lain dan menggunakan halaman sumber pengganti yang sama dalam kedua-dua bahasa.

| Bahasa | Tanpa petikan | Pengganti pertama | Petikan asal | Julat merentas 16 penggantian |
| --- | ---: | ---: | ---: | ---: |
| Bahasa Inggeris | 24.60% | 26.38% | 28.72% | 24.60% hingga 27.89% |
| Bahasa Vietnam | 25.98% | 24.80% | 27.17% | 23.58% hingga 27.84% |

Petikan asal mendapat skor lebih tinggi daripada semua 16 petikan pengganti dalam bahasa Inggeris dan 15 petikan pengganti dalam bahasa Vietnam. Berbanding tanpa petikan, petikan asal meningkatkan markah bagi 311 soalan dalam bahasa Inggeris dan 313 dalam bahasa Vietnam. Petikan asal mengurangkan markah bagi 218 soalan dalam bahasa Inggeris dan 234 dalam bahasa Vietnam. [Kod pemadanan perkataan](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Keputusan agregat](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Tukar bahasa soalan

Dalam fail pembangunan MLQA bahasa Inggeris dan Vietnam, 511 ID soalan muncul dalam keempat-empat gabungan bahasa soalan dan petikan. Bagi ID tersebut, apabila bahasa soalan ditukar daripada bahasa Inggeris kepada bahasa Vietnam dan petikan bahasa Inggeris dikekalkan, petikan dan senarai jawapan yang diterima kekal sama tepat. Perbandingan menggunakan tetapan itu memarkahkan kedua-dua ujian berdasarkan jawapan bahasa Inggeris yang sama. [Kertas penyelidikan MLQA](https://aclanthology.org/2020.acl-main.653/) · [Susun atur fail MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Ulangi semakan pemadanan perkataan

Muat turun [ZIP asal Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [skrip pemadanan perkataan](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), [skrip bantuan Python](https://sapien1.com/research/reading-benchmark-evidence/check.py) dan [keputusan agregat yang disimpan](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Letakkan semuanya dalam folder yang sama. Skrip ini mengesahkan hash arkib dan membaca fail bahasa Inggeris dan Vietnam. Skrip ini melaporkan skor dalam unit markah, dengan 12 unit bersamaan satu jawapan betul. Gunakan Python 3.12 untuk mengulangi perbandingan ini.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
