# 如何選擇多語言閱讀理解測驗

選一個能測出模型是否會做使用者所需工作的測驗。找對段落、根據提供的段落回答問題，以及理解另一種語言的提問，是不同的能力。分開測試，就知道哪個步驟需要多加檢查。

| 想檢查什麼 | 從哪裡開始 | 模型要做什麼 |
| --- | --- | --- |
| 能在一篇文章裡找對段落嗎？ | TyDiQA-SelectP | 從一篇文章裡挑出一個段落，或指出沒有段落能回答問題。 |
| 能找到回答問題的字詞嗎？ | TyDiQA-GoldP | 從含有答案的段落取出構成答案的字詞。 |
| 能用不同語言回答同一組問題嗎？ | XQuAD 或 Belebele | 在 XQuAD 裡根據翻譯過的段落回答，或在 Belebele 裡從四個選項選一個。 |
| 問題和段落用不同語言時，還能回答嗎？ | MLQA | 從另一種語言寫成的段落找出答案。 |

## 檢查模型能不能找到答案

如果模型需要在文章裡找對段落，就用 TyDiQA-SelectP。如果還需要給簡短答案、回答是或否，或指出文章沒有答案，就用 TyDiQA-MinSpan。TyDi QA 的問題由人直接用各自的語言撰寫。 [TyDi QA 任務說明](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

想知道較短的段落有多少幫助，可以請同一個模型寫兩次答案。一次給整篇文章，一次給從同一篇文章逐字擷取的片段。兩次使用相同的設定、問題、作答格式、可接受答案和評分規則。確認每個可接受答案都出現在兩份輸入裡。如果直接使用 Gold Passage 的某筆資料，請檢查片段和答案清單。檔案裡可能有同一個問題，段落或可接受答案卻不同。TyDi QA 的開發檔案可用來準備這項比較。Gold Passage 的 5,077 題全部也出現在有 18,670 題的主要資料集裡。Gold Passage 沒有日語和泰語題，也排除了九種共有語言中有標記書面答案的 1,285 題。請按語言、文章標題和問題的確切文字配對，只用一對一相符的題目。 [TyDi QA 題目比較](https://sapien1.com/zh-Hant-TW/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## 比較不同語言時，用同一組題目

XQuAD 把同一組問題和段落翻譯成不同語言給模型作答。1,190 道英文題來自 SQuAD 1.1 的開發集。我們檢查過的翻譯檔案都有同一組題目 ID。如果用 SQuAD 開發集調整過模型，先檢查題目是否重疊，再決定能不能用 XQuAD 當作新題測驗。 [XQuAD 原始論文](https://aclanthology.org/2020.acl-main.421/) · [檢查重複使用的題目](https://sapien1.com/zh-Hant-TW/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

要讓模型從四個答案中選一個，可以用 Belebele。按語言和文字系統區分的 122 個檔案共用 900 個題目 ID。請儲存模型選的編號或字母。兩個選項可能有相同的文字，只留文字可能分不出選的是哪個。如果排除這類題目，所有要比較的語言都要用同一組剩下的 ID。 [比較不同語言的閱讀成績](https://sapien1.com/zh-Hant-TW/research/cross-language-reading-scores)

## 換提問語言時，用同一個段落

例如，說越南語的人可能會問一份英文文件的內容，這時可以用 MLQA。我們檢查的英文和越南文開發檔案共有 511 題，可以用任一種語言提問，並保留完全相同的英文段落和可接受答案。兩次都用同一組英文答案評分，就能看出換提問語言後有哪些變化。 [MLQA 原始論文](https://aclanthology.org/2020.acl-main.653/) · [比較英文和越南文檔案](https://sapien1.com/zh-Hant-TW/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

如果要單獨檢查段落有多大幫助，就在有給和沒給段落時問同一組問題。 [檢查模型有沒有用到文章](https://sapien1.com/zh-Hant-TW/research/does-the-model-use-the-passage)

## 確認測驗有你需要的語言

測試泰語時，可以用 TyDiQA-SelectP 檢查模型能不能找對段落，用 XQuAD 檢查能不能在提供的段落中找到答案的字詞，或用 Belebele 檢查能不能選對答案。TyDiQA-GoldP 的開發檔案沒有泰語題。四組比較的檔案都含有的語言只有阿拉伯語和英語。這四組是 TyDi QA 主要資料集、TyDi QA Gold Passage、XQuAD，以及問題和段落使用同一語言的 MLQA 開發檔案。 [檢查涵蓋的語言](https://sapien1.com/zh-Hant-TW/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Belebele 語言檔案](https://sapien1.com/zh-Hant-TW/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

報告分數時，請寫出任務、語言，以及每個分數納入多少題。例如，TyDi QA 的兩種官方評分方式在計算整體平均時都排除英語，即使檔案有英文題。 [TyDi QA 評分說明](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
