# 다국어 읽기 평가를 고르는 방법

사용자가 원하는 일을 모델에 시키는 평가를 고르세요. 알맞은 지문을 찾는 일, 주어진 지문으로 답하는 일, 다른 언어로 된 질문을 이해하는 일은 서로 다른 능력입니다. 따로 시험하면 어느 단계에 더 주의해야 하는지 알 수 있습니다.

| 무엇을 확인할까요? | 어디서 시작할까요? | 모델이 하는 일 |
| --- | --- | --- |
| 글에서 알맞은 부분을 찾을 수 있나요? | TyDiQA-SelectP | 글 하나에서 지문을 고르거나 질문에 답하는 지문이 없다고 표시합니다. |
| 답이 되는 단어를 찾을 수 있나요? | TyDiQA-GoldP | 답이 들어 있는 지문에서 해당 단어를 가져옵니다. |
| 같은 질문에 여러 언어로 답할 수 있나요? | XQuAD 또는 Belebele | XQuAD에서는 번역된 지문으로 답하고, Belebele에서는 답 네 개 중 하나를 고릅니다. |
| 질문과 지문의 언어가 달라도 답할 수 있나요? | MLQA | 다른 언어로 쓰인 지문에서 답을 찾습니다. |

## 모델이 답을 찾는지 확인하세요

글에서 맞는 지문을 찾아야 한다면 TyDiQA-SelectP를 쓰세요. 짧은 답이나 예·아니요로 답하거나 글에 답이 없다고 알려야 한다면 TyDiQA-MinSpan을 쓰세요. TyDi QA 문항은 사람들이 언어별로 직접 작성했습니다. [TyDi QA 과제 설명](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

짧은 지문이 얼마나 도움이 되는지 보려면 같은 모델에 두 번 서면 답변을 요청하세요. 한 번은 글 전체를 주고, 한 번은 그 글에서 그대로 복사한 부분을 주세요. 설정, 질문, 답변 형식, 정답으로 인정할 답과 채점 기준은 같게 유지하세요. 인정할 답이 각각 두 입력에 모두 있는지 확인하세요. Gold Passage 항목을 그대로 쓴다면 발췌한 지문과 답 목록을 살펴보세요. 질문은 같아도 파일마다 지문이나 인정하는 답이 다를 수 있습니다. TyDi QA 개발용 파일을 쓰면 이 비교를 준비할 수 있습니다. Gold Passage의 5,077문항은 모두 18,670문항이 담긴 기본 데이터에도 있습니다. Gold Passage에는 일본어와 태국어가 없으며, 두 파일에 공통으로 있는 아홉 언어에서도 서면 정답이 표시된 1,285문항이 빠져 있습니다. 언어, 글 제목, 질문의 정확한 문구를 기준으로 짝을 맞추세요. 일대일로 대응하는 문항만 사용하세요. [TyDi QA 문항 비교](https://sapien1.com/ko/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## 언어를 비교할 때는 같은 문항을 쓰세요

XQuAD는 같은 질문과 지문의 번역본을 모델에 줍니다. 영어 1,190문항은 SQuAD 1.1 개발용 데이터에서 가져왔습니다. 확인한 번역 파일에는 같은 문항 ID가 있습니다. SQuAD 개발용 데이터로 모델을 조정했다면 XQuAD를 새 문항으로 이루어진 평가로 사용하기 전에 겹치는 문항을 확인하세요. [XQuAD 원 논문](https://aclanthology.org/2020.acl-main.421/) · [재사용한 문항 확인](https://sapien1.com/ko/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

모델에 답 네 개 중 하나를 고르게 하려면 Belebele를 쓰세요. 언어와 문자 체계별 파일 122개가 같은 문항 ID 900개를 공유합니다. 고른 선택지의 번호나 문자를 저장하세요. 선택지 두 개의 문구가 같으면 문구만으로는 모델이 무엇을 골랐는지 모를 수 있습니다. 해당 문항을 빼기로 했다면 비교할 모든 언어에 같은 나머지 ID를 쓰세요. [언어별 읽기 점수 비교하기](https://sapien1.com/ko/research/cross-language-reading-scores)

## 질문의 언어를 바꿀 때는 같은 지문을 쓰세요

예를 들어 베트남어 사용자가 영어 문서에 대해 질문할 수 있는 상황이라면 MLQA를 쓰세요. 확인한 영어와 베트남어 개발용 파일에는 공통 문항 511개가 있습니다. 영어 지문과 인정하는 답을 그대로 유지하면서 둘 중 어느 언어로든 물을 수 있습니다. 두 평가 모두 같은 영어 답으로 채점하세요. 그러면 질문 언어를 바꿨을 때 무엇이 달라졌는지 알 수 있습니다. [MLQA 원 논문](https://aclanthology.org/2020.acl-main.653/) · [영어와 베트남어 파일 비교](https://sapien1.com/ko/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

지문이 얼마나 도움이 되는지 따로 보려면 지문을 준 경우와 주지 않은 경우에 같은 질문을 하세요. [모델이 지문을 참고하는지 확인하기](https://sapien1.com/ko/research/does-the-model-use-the-passage)

## 필요한 언어가 평가에 있는지 확인하세요

태국어에서는 모델이 알맞은 부분을 찾는지는 TyDiQA-SelectP로, 주어진 지문에서 답이 되는 단어를 찾는지는 XQuAD로, 올바른 답을 고르는지는 Belebele로 확인하세요. TyDiQA-GoldP 개발용 파일에는 태국어 문항이 없습니다. 비교한 네 파일 묶음에 모두 있는 언어는 아랍어와 영어뿐입니다. 비교한 대상은 TyDi QA 기본 데이터, TyDi QA Gold Passage, XQuAD, 그리고 질문과 지문의 언어가 같은 MLQA 개발용 파일입니다. [지원 언어 확인](https://sapien1.com/ko/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Belebele 언어별 파일](https://sapien1.com/ko/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

점수를 보고할 때는 각 점수에 사용한 과제, 언어, 문항 수를 적으세요. 예를 들어 TyDi QA의 두 공식 채점 방식은 파일에 영어가 포함되어 있어도 전체 평균에서 영어를 뺍니다. [TyDi QA 채점 안내](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
