# 읽기 벤치마크 가이드의 근거

이 검증에는 원본 Belebele 및 FLORES-200 아카이브와 공개된 MLQA 개발 파일을 사용했습니다. Belebele의 각 문항에는 답변 선택지 4개가 있습니다. 원본 ZIP에 포함된 122개 언어 및 문자 체계 파일은 동일한 문항 ID 900개를 공유합니다. 이 파일에서 각 ID는 출처 URL과 문항 번호를 짝지어 나타냅니다. [Belebele 논문](https://aclanthology.org/2024.acl-long.44/) · [Belebele 다운로드 및 형식](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## 답변을 해당 문항에 맞춰 보세요

각 Belebele 파일에서 정답으로 표시된 선택지 번호를 복사해 영어 문항 순서대로 배열했습니다. 파일 52개는 문항 순서가 영어 파일과 다릅니다. 복사한 답변을 각 파일의 행 번호로 맞췄을 때 점수는 73.55%였습니다. 문항 ID로 맞췄을 때는 109,800개 행에서 100%였습니다. 행 번호로 맞추면 답변 38,876개가 다른 문항에 배정됐습니다. 그중 9,838개는 선택지 번호가 일치해 정답으로 인정됐습니다.

## 내용이 같은 선택지가 있는지 확인하세요

148개 행에서 표시된 정답과 텍스트가 정확히 같은 다른 선택지가 있습니다. 모든 행에서 표시된 정답의 텍스트를 복사했습니다. 해당 텍스트와 일치하는 첫 번째 선택지를 답으로 지정했을 때 16점이 차감됐습니다. 마지막 선택지를 지정했을 때는 133점이 차감됐습니다. 이 검사는 원본 ZIP에 저장된 텍스트를 그대로 비교합니다.

## 같은 문항으로 점수를 비교하세요

해당 148개 행을 각 파일에서 발견된 경우에만 제거하면 파일마다 문항이 894~899개 남습니다. 해당 행에 포함된 서로 다른 문항 ID는 23개입니다. 모든 파일에서 이 ID 23개를 제거하면 각 파일에 동일한 문항 877개가 남습니다.

## 지문의 출처를 확인하세요

영어 파일에서 문항 513개는 원본 FLORES-200 개발 분할에 포함된 페이지를 가리킵니다. 이 중 문항 417개는 원본 FLORES 문장을 순서대로 이어 붙였을 때 Belebele 지문과 정확히 일치합니다. 두 아카이브가 공유하는 나머지 116개 언어 및 문자 체계 파일에서는 정확히 일치하는 문항 수가 다릅니다.

영어를 포함해 두 아카이브가 공유하는 언어 및 문자 체계 파일 117개에서 FLORES-200 `devtest` URL을 출처로 하는 Belebele 행 45,279개도 확인했습니다. 서로 다른 문항 ID 9개는 각각 적어도 한 파일의 지문에 개발 분할의 완전한 문장 1개가 포함돼 있었습니다. 이 검증은 원본 아카이브의 출처 URL과 텍스트를 정확히 일치시켜 확인합니다. [FLORES-200 문서](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [원본 FLORES-200 아카이브](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## 가장 짧은 답변을 고르는 규칙을 확인하세요

전체 Belebele 테스트에서 항상 가장 짧은 답변을 고르면 점수는 27.03%였습니다. 이 규칙은 서로 동등한 유니코드 문자와 공백을 표준화한 뒤 글자 수를 셉니다. 가장 짧은 선택지가 여러 개면 1점을 그 수만큼 균등하게 나누고 정답으로 표시된 선택지의 몫만 점수에 반영합니다. 선택지 4개 중 하나를 같은 확률로 추측할 때의 기대 점수는 25%입니다. Belebele 원 논문의 저자들은 단어 중복과 답변 길이를 이용해 정답을 짐작할 단서가 있는지 확인했습니다. 또한 단어의 순서를 고려하지 않고 단어만 사용한 모델이 문항 900개에서 28%의 결과를 보였다고 보고했습니다. [Belebele 논문 3.2절](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [부록 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## 지문에 따른 점수를 비교하세요

영어와 베트남어에서 동일한 문항 ID 900개를 사용했습니다. 이 규칙은 각 선택지의 서로 다른 단어 중 문항이나 제공된 지문에도 나타나는 단어의 비율이 가장 높은 선택지를 고릅니다. 지문이 없으면 문항만 사용합니다. 동점인 선택지가 있으면 1점을 균등하게 나눕니다. 대체 지문을 사용하는 각 실행에서는 다른 페이지의 지문을 가져오며, 두 언어에 같은 출처 페이지의 대체 지문을 사용합니다.

| 언어 | 지문 없음 | 첫 번째 대체 지문 | 원래 지문 | 대체 지문 16개의 점수 범위 |
| --- | ---: | ---: | ---: | ---: |
| 영어 | 24.60% | 26.38% | 28.72% | 24.60%~27.89% |
| 베트남어 | 25.98% | 24.80% | 27.17% | 23.58%~27.84% |

원래 지문을 사용한 점수는 영어에서는 대체 지문 16개 모두보다 높았고 베트남어에서는 15개보다 높았습니다. 지문이 없을 때와 비교하면 원래 지문을 사용했을 때 영어에서는 문항 311개, 베트남어에서는 문항 313개의 점수가 올랐습니다. 점수가 내려간 문항은 영어에서 218개, 베트남어에서 234개였습니다. [단어 일치 확인 코드](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [집계 결과](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## 문항 언어를 바꿔 보세요

영어 및 베트남어 MLQA 개발 파일에서 문항 ID 511개가 문항 언어와 지문 언어의 4가지 조합 모두에 나타납니다. 이 ID들에서 영어 지문을 고정한 채 문항 언어를 영어에서 베트남어로 바꾸면 지문과 정답으로 인정되는 답변 목록이 정확히 동일하게 유지됩니다. 이 설정으로 비교하면 두 실행을 동일한 영어 답변을 기준으로 채점합니다. [MLQA 논문](https://aclanthology.org/2020.acl-main.653/) · [MLQA 파일 구조](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## 단어 일치 검증을 다시 해보세요

[원본 Belebele ZIP](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [단어 일치 확인 스크립트](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), 해당 스크립트의 [Python 보조 파일](https://sapien1.com/research/reading-benchmark-evidence/check.py), [저장된 집계 결과](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)를 다운로드해 같은 폴더에 넣으세요. 스크립트는 아카이브의 해시를 검증하고 영어와 베트남어 파일을 읽습니다. 점수는 채점 단위로 표시되며, 12단위가 정답 1개에 해당합니다. Python 3.12 버전을 사용해 비교를 다시 실행하세요.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
