다국어 읽기 평가 선택을 위한 근거

TyDi QA, XQuAD, MLQA, Belebele의 특정 배포본에 담긴 질문과 언어를 비교했습니다. 항목 수는 가이드에서 사용한 파일을 기준으로 합니다.

TyDi QA 파일에는 어떤 질문이 공통으로 들어 있나요?

개발 파일에서 언어, 글 제목, 질문 문구가 정확히 일치하는 항목을 찾았습니다. Gold Passage의 5,077개 행은 각각 기본 과제의 18,670개 행 중 하나와 일치했습니다. 두 파일에 공통으로 포함된 9개 언어에서 Gold Passage 파일은 평가자 중 1명 이상이 서술형 답변을 표시한 기본 과제의 1,285개 행을 제외합니다. 기본 과제 개발 파일에는 일본어와 태국어가 포함되어 있지만 Gold Passage 파일에는 두 언어의 행이 없습니다.

글 전체와 더 짧은 입력을 비교하려면 같은 모델에 서술형 답변을 두 번 요청하세요. 짧은 지문은 글에서 정확히 그대로 복사하세요. 설정, 질문, 답변 형식, 인정 답변, 채점 기준은 동일하게 유지하세요. 인정 답변이 모두 두 입력에 들어 있는지 확인하세요. Gold Passage를 제공된 그대로 사용한다면 발췌문과 답변 목록을 확인하세요. 질문을 기준으로 일치 여부를 확인하면 두 파일에 공통으로 들어 있는 질문을 알 수 있습니다. 지문과 인정 답변은 서로 다를 수 있습니다.

저자들이 수행한 기본 과제 평가와 Gold Passage 평가는 각각 전체 평균에서 영어를 제외합니다.

언어별 항목 수(JSON) · 비교 스크립트(Python) · 특정 버전으로 고정된 기본 과제 개발 파일 · 특정 버전으로 고정된 Gold Passage 개발 파일 · 공식 채점 기준

두 원본 파일을 각각 primary.parquet, gold.parquet라는 이름으로 저장하세요. 스크립트와 항목 수 파일을 같은 디렉터리에 저장한 다음 비교를 실행하세요. 스크립트는 두 입력 파일을 읽기 전에 각각의 다이제스트를 검증합니다.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

XQuAD의 어떤 질문이 SQuAD에서 왔나요?

영어 XQuAD의 ID 1,190개는 모두 SQuAD 1.1 개발 파일의 질문과 일치합니다. 이 ID에 해당하는 글 제목, 지문, 질문 텍스트도 정확히 일치합니다. 확인한 XQuAD 리비전의 파일 12개는 모두 같은 ID를 공유하며, 여기에는 최초 배포 이후 추가된 루마니아어 파일도 포함됩니다.

질문 수와 일치 항목(JSON) · XQuAD 원 논문 · 특정 버전으로 고정된 XQuAD 리비전 · 특정 버전으로 고정된 SQuAD 개발 파일

MLQA 질문의 언어가 바뀌어도 무엇이 같게 유지되나요?

영어와 베트남어를 사용하는 개발 파일 4개는 질문 ID 511개를 공유합니다. 영어 지문을 유지한 채 질문을 영어에서 베트남어로 바꾸면 질문 511개가 모두 바뀌었고, 지문과 인정 답변 목록은 바뀐 것이 없었습니다. 이 검사는 각 지문과 인정 답변의 순서가 있는 목록을 저장된 오프셋까지 포함해 비교합니다. 두 실행 결과는 같은 영어 답변을 사용해 채점하세요.

파일 비교 항목 수(JSON) · 공식 MLQA 다운로드 · MLQA 원 논문

4개 파일 세트에는 어떤 언어가 들어 있나요?

TyDi QA 기본 과제와 Gold Passage 개발 파일, 특정 버전으로 고정된 XQuAD 배포본, 질문과 지문에 같은 언어를 사용하는 MLQA 개발 파일을 확인했습니다. 4개 세트에 모두 포함된 언어는 아랍어와 영어뿐입니다. 태국어는 TyDi QA 기본 과제와 XQuAD에 포함되어 있으며 Gold Passage에는 없습니다.

파일 세트별 언어 코드(JSON)

태국어 객관식 평가는 어디에 있나요?

Belebele에는 tha_Thai.jsonl라는 태국어 파일이 있습니다. 지문을 읽고 4개 답변 중 하나를 고르도록 모델에 요청하는 질문에 이 파일을 사용하세요.

저자가 제공한 특정 버전의 태국어 파일 · Belebele 원 논문 · 언어별 객관식 읽기 점수를 비교하는 방법