읽기 벤치마크 가이드의 근거
이 검증에는 원본 Belebele 및 FLORES-200 아카이브와 공개된 MLQA 개발 파일을 사용했습니다. Belebele의 각 문항에는 답변 선택지 4개가 있습니다. 원본 ZIP에 포함된 122개 언어 및 문자 체계 파일은 동일한 문항 ID 900개를 공유합니다. 이 파일에서 각 ID는 출처 URL과 문항 번호를 짝지어 나타냅니다. Belebele 논문 · Belebele 다운로드 및 형식
답변을 해당 문항에 맞춰 보세요
각 Belebele 파일에서 정답으로 표시된 선택지 번호를 복사해 영어 문항 순서대로 배열했습니다. 파일 52개는 문항 순서가 영어 파일과 다릅니다. 복사한 답변을 각 파일의 행 번호로 맞췄을 때 점수는 73.55%였습니다. 문항 ID로 맞췄을 때는 109,800개 행에서 100%였습니다. 행 번호로 맞추면 답변 38,876개가 다른 문항에 배정됐습니다. 그중 9,838개는 선택지 번호가 일치해 정답으로 인정됐습니다.
내용이 같은 선택지가 있는지 확인하세요
148개 행에서 표시된 정답과 텍스트가 정확히 같은 다른 선택지가 있습니다. 모든 행에서 표시된 정답의 텍스트를 복사했습니다. 해당 텍스트와 일치하는 첫 번째 선택지를 답으로 지정했을 때 16점이 차감됐습니다. 마지막 선택지를 지정했을 때는 133점이 차감됐습니다. 이 검사는 원본 ZIP에 저장된 텍스트를 그대로 비교합니다.
같은 문항으로 점수를 비교하세요
해당 148개 행을 각 파일에서 발견된 경우에만 제거하면 파일마다 문항이 894~899개 남습니다. 해당 행에 포함된 서로 다른 문항 ID는 23개입니다. 모든 파일에서 이 ID 23개를 제거하면 각 파일에 동일한 문항 877개가 남습니다.
지문의 출처를 확인하세요
영어 파일에서 문항 513개는 원본 FLORES-200 개발 분할에 포함된 페이지를 가리킵니다. 이 중 문항 417개는 원본 FLORES 문장을 순서대로 이어 붙였을 때 Belebele 지문과 정확히 일치합니다. 두 아카이브가 공유하는 나머지 116개 언어 및 문자 체계 파일에서는 정확히 일치하는 문항 수가 다릅니다.
영어를 포함해 두 아카이브가 공유하는 언어 및 문자 체계 파일 117개에서 FLORES-200 devtest URL을 출처로 하는 Belebele 행 45,279개도 확인했습니다. 서로 다른 문항 ID 9개는 각각 적어도 한 파일의 지문에 개발 분할의 완전한 문장 1개가 포함돼 있었습니다. 이 검증은 원본 아카이브의 출처 URL과 텍스트를 정확히 일치시켜 확인합니다. FLORES-200 문서 · 원본 FLORES-200 아카이브
가장 짧은 답변을 고르는 규칙을 확인하세요
전체 Belebele 테스트에서 항상 가장 짧은 답변을 고르면 점수는 27.03%였습니다. 이 규칙은 서로 동등한 유니코드 문자와 공백을 표준화한 뒤 글자 수를 셉니다. 가장 짧은 선택지가 여러 개면 1점을 그 수만큼 균등하게 나누고 정답으로 표시된 선택지의 몫만 점수에 반영합니다. 선택지 4개 중 하나를 같은 확률로 추측할 때의 기대 점수는 25%입니다. Belebele 원 논문의 저자들은 단어 중복과 답변 길이를 이용해 정답을 짐작할 단서가 있는지 확인했습니다. 또한 단어의 순서를 고려하지 않고 단어만 사용한 모델이 문항 900개에서 28%의 결과를 보였다고 보고했습니다. Belebele 논문 3.2절 · 부록 A.6
지문에 따른 점수를 비교하세요
영어와 베트남어에서 동일한 문항 ID 900개를 사용했습니다. 이 규칙은 각 선택지의 서로 다른 단어 중 문항이나 제공된 지문에도 나타나는 단어의 비율이 가장 높은 선택지를 고릅니다. 지문이 없으면 문항만 사용합니다. 동점인 선택지가 있으면 1점을 균등하게 나눕니다. 대체 지문을 사용하는 각 실행에서는 다른 페이지의 지문을 가져오며, 두 언어에 같은 출처 페이지의 대체 지문을 사용합니다.
| 언어 | 지문 없음 | 첫 번째 대체 지문 | 원래 지문 | 대체 지문 16개의 점수 범위 |
|---|---|---|---|---|
| 영어 | 24.60% | 26.38% | 28.72% | 24.60%~27.89% |
| 베트남어 | 25.98% | 24.80% | 27.17% | 23.58%~27.84% |
원래 지문을 사용한 점수는 영어에서는 대체 지문 16개 모두보다 높았고 베트남어에서는 15개보다 높았습니다. 지문이 없을 때와 비교하면 원래 지문을 사용했을 때 영어에서는 문항 311개, 베트남어에서는 문항 313개의 점수가 올랐습니다. 점수가 내려간 문항은 영어에서 218개, 베트남어에서 234개였습니다. 단어 일치 확인 코드 · 집계 결과
문항 언어를 바꿔 보세요
영어 및 베트남어 MLQA 개발 파일에서 문항 ID 511개가 문항 언어와 지문 언어의 4가지 조합 모두에 나타납니다. 이 ID들에서 영어 지문을 고정한 채 문항 언어를 영어에서 베트남어로 바꾸면 지문과 정답으로 인정되는 답변 목록이 정확히 동일하게 유지됩니다. 이 설정으로 비교하면 두 실행을 동일한 영어 답변을 기준으로 채점합니다. MLQA 논문 · MLQA 파일 구조
단어 일치 검증을 다시 해보세요
원본 Belebele ZIP, 단어 일치 확인 스크립트, 해당 스크립트의 Python 보조 파일, 저장된 집계 결과를 다운로드해 같은 폴더에 넣으세요. 스크립트는 아카이브의 해시를 검증하고 영어와 베트남어 파일을 읽습니다. 점수는 채점 단위로 표시되며, 12단위가 정답 1개에 해당합니다. Python 3.12 버전을 사용해 비교를 다시 실행하세요.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json