# 언어별 객관식 읽기 점수를 비교하는 방법

모든 언어에서 같은 문항과 채점 기준을 사용하세요. 내용이 같은 선택지나 모델이 전에 읽었을 만한 지문이 있는지도 확인하세요. 다국어 읽기 평가 Belebele에서 각 파일에 정답으로 표시된 선택지 번호를 그대로 옮겨 영어판 문항 순서대로 나열했습니다. 각 파일의 행 번호로 답을 맞춰 보니 73.55%, 문항 ID로 맞춰 보니 100%였습니다. [Belebele 채점 재현](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 답변을 해당 문항에 맞춰 보세요

답변마다 언어, 문항 ID, 고른 선택지의 번호나 문자를 기록하세요. Belebele의 파일 122개에는 같은 문항 ID 900개가 있지만, 그중 52개 파일은 영어판과 순서가 다릅니다. 행 번호로 맞췄을 때 엉뚱한 문항에 연결된 답변 9,838개가 우연히 선택지 번호가 같아서 점수를 받았습니다. [문항 순서 확인](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 내용이 같은 선택지가 있는지 확인하세요

B와 D에 모두 `12`라고 쓰여 있고 파일에는 B가 정답이라고 표시되어 있다고 해 보겠습니다. `12`라는 답변을 보면 선택지 내용은 알 수 있습니다. 선택지 위치로 채점하려면 B나 D 같은 문자가 필요합니다. Belebele에는 정답과 내용이 같은 선택지가 또 나오는 행이 148개 있습니다. 정답 내용을 그대로 옮긴 뒤 처음으로 일치하는 선택지를 고르면 16점을, 마지막으로 일치하는 선택지를 고르면 133점을 잃었습니다. 선택지 기호와 답의 내용 중 무엇을 기준으로 채점할지 정한 뒤 같은 기준으로 선택지를 확인하세요. [내용이 같은 선택지](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## 같은 문항으로 점수를 비교하세요

내용이 같은 선택지가 실제로 나오는 행 148개만 해당 파일에서 빼면 언어마다 894개에서 899개 문항이 남습니다. 모든 언어에서 똑같은 문항으로 비교하려면 관련 문항 ID 23개를 모든 파일에서 빼세요. 그러면 공통 문항 877개가 남습니다. 원래 문항 수와 실제로 채점한 문항 수를 함께 기록하세요. [문항을 제외하는 방식 비교](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 모델이 전에 읽었을 만한 지문을 확인하세요

FLORES-200 개발용 데이터로 모델을 조정했다면 Belebele에 같은 지문이 있는지 확인하세요. 영어판에서는 513개 문항이 이 개발용 데이터에서 사용한 웹페이지를 가리킵니다. 그중 417개 문항은 FLORES 문장들을 이으면 Belebele 지문 전체와 정확히 일치합니다. 두 데이터 세트가 공유하는 나머지 116개 언어 또는 문자 체계별 파일에서는 일치하는 지문 수가 다릅니다. 실제로 평가할 언어의 본문을 확인하세요. [영어 지문 재사용](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [번역 지문 재사용](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
