# 모델이 지문을 참고하는지 확인하는 방법

모델에 같은 문항을 두 번 제시하세요. 한 번은 지문과 함께, 한 번은 지문 없이 제시합니다. 문항과 선택지, 채점 기준은 그대로 둡니다. 두 점수를 비교하면 해당 문항에서 지문이 얼마나 도움이 됐는지 알 수 있습니다. 객관식이라면 선택지만 주고 한 번 더 확인해 보세요. Belebele 전체에서 가장 짧은 선택지만 고르는 규칙을 적용했더니 점수가 27.03%였습니다. 모든 선택지를 같은 확률로 고르면 기대 점수는 25%입니다. [Belebele 답 길이 확인](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## 모델에 주는 정보는 한 번에 하나씩 바꾸세요

| 모델이 보는 정보 | 비교할 항목 |
| --- | --- |
| 지문, 문항, 선택지 | 세 가지를 모두 보여 줬을 때의 정답률 |
| 문항과 선택지 | 지문을 빼고 보여 줬을 때의 정답률 |
| 선택지만 | 선택지만 보여 줬을 때의 정답률 |

매번 같은 모델과 설정을 사용하세요. 지문을 추가했을 때 오답이 정답으로 바뀐 경우와 정답이 오답으로 바뀐 경우를 각각 세어 보세요. 두 번의 평가에서 맞힌 문항이 달라도 전체 점수 차이가 작은 이유를 이 숫자로 설명할 수 있습니다. 모델이 직접 답을 작성하는 평가라면 처음 두 번은 모두 선택지 없이 진행하고, 정답으로 인정하는 답변도 동일하게 유지하세요.

## 정답 여부가 바뀐 문항을 살펴보세요

두 번 모두 100문항 중 70문항을 맞혔다고 가정해 보겠습니다. 문항 ID로 답을 맞춰 보니 62문항은 두 번 다 정답이었고 22문항은 두 번 다 오답이었습니다. 지문을 추가하자 여덟 문항은 오답에서 정답으로, 또 다른 여덟 문항은 정답에서 오답으로 바뀌었습니다. 점수는 그대로 70%이지만, 지문이 도움이 된 경우와 방해가 된 경우를 알아볼 수 있는 문항이 16개 있습니다.

## 같은 단어를 보고 답을 골라 보세요

Belebele 저자들은 겹치는 단어와 답의 길이가 단서가 되는지 확인했습니다. 어순과 상관없이 어떤 단어가 나오는지만 본 모델이 900문항에서 28%를 받았다고도 보고했습니다. [Belebele 논문 3.2절](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [부록 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

영어와 베트남어에서 동일한 Belebele 문항 900개를 골라 같은 단어를 기준으로 답을 선택하는 고정된 규칙을 적용했습니다. 지문이 없는 경우, 문항에 원래 딸린 지문을 주는 경우, 다른 웹페이지의 지문을 주는 경우를 비교했습니다. 각 선택지에서 같은 단어는 한 번씩만 세고, 그중 질문이나 제시된 지문에도 나오는 단어의 비율을 계산합니다. 지문이 없으면 질문만 확인합니다. 비율이 가장 높은 선택지를 고릅니다. 공동으로 가장 높으면 그 선택지들이 한 점을 똑같이 나눠 갖고, 정답으로 표시된 선택지가 받은 몫만 점수에 넣습니다. 각 문항에서 영어와 베트남어의 대체 지문은 원래 지문이 아닌 동일한 웹페이지에서 가져와 각 언어로 제시합니다. [코드](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [결과](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| 언어 | 지문 없음 | 다른 웹페이지의 지문 | 문항에 원래 딸린 지문 |
| --- | ---: | ---: | ---: |
| 영어 | 24.60% | 26.38% | 28.72% |
| 베트남어 | 25.98% | 24.80% | 27.17% |

첫 비교에서는 두 언어 모두 문항에 원래 딸린 지문을 썼을 때 점수가 가장 높았습니다. 그다음에는 지문을 바꾸는 방법을 15가지 더 시험했습니다. 총 16가지에서 영어 점수는 24.60%에서 27.89%, 베트남어는 23.58%에서 27.84%였습니다. 원래 지문을 쓴 점수가 영어에서는 16가지 모두, 베트남어에서는 15가지보다 높았습니다. 여러 대체 지문을 써 보면 어떤 웹페이지를 골랐는지에 따라 결론이 달라질 가능성을 줄일 수 있습니다. [지문을 바꾼 모든 결과](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

지문을 주지 않았을 때와 비교하면, 원래 지문을 줬을 때 영어에서 311문항, 베트남어에서 313문항의 점수가 올랐습니다. 점수가 떨어진 문항은 영어에서 218개, 베트남어에서 234개였습니다. 이 규칙의 결과를 모델과 비교한다면 같은 문항으로 채점하세요.

## 같은 문항과 채점 기준을 쓰세요

답변마다 문항 ID를 저장하세요. Belebele의 파일 122개에는 같은 문항 ID 900개가 있지만, 52개 파일은 영어판과 순서가 다릅니다. 내용이 같은 선택지가 있는 문항을 제외할 때는 비교할 모든 실행에서 동일한 ID를 빼세요. 채점할 때 내용이 같은 두 선택지를 구별할 수 있도록 선택지 문자도 기록하세요. [문항 순서 재현](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [문항 제외 기준](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 모델이 전에 접했을 만한 내용을 확인하세요

지문 없이도 기존 지식이나 문항과 선택지에 있는 단서로 맞힐 수 있고, 추측이 맞을 수도 있습니다. FLORES-200 개발용 데이터로 모델을 조정한 뒤 Belebele로 평가한다면 그 개발용 데이터에 나온 URL의 문항을 뺄 수 있습니다. 지문 내용도 확인하세요. 원본 파일에서는 다른 URL에 속한 문항 중 아홉 개에도 확인한 언어나 문자 체계 중 적어도 하나에서 개발용 데이터의 문장이 들어 있었습니다. [Belebele 지문 확인](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## 질문의 언어를 바꿀 때는 같은 지문을 쓰세요

다른 언어로 물었을 때 결과가 달라지는지 알아보려면 그 조건만 따로 비교하세요. 확인한 영어와 베트남어 MLQA 파일에서 문항 ID 511개는 영어 지문과 인정하는 정답을 정확히 그대로 두고 질문 언어만 바꿀 수 있었습니다. 두 평가 모두 같은 영어 정답으로 채점하세요. [MLQA에서 서로 대응하는 문항](https://sapien1.com/ko/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
