選擇多語言閱讀理解測驗的證據
這些檢查比較了特定版本的 TyDi QA、XQuAD、MLQA 和 Belebele 所含的題目與語言。數量統計以指南使用的檔案為準。
TyDi QA 檔案有哪些共同題目?
我們依語言、文章標題和完全相同的題目文字,比對了開發集檔案。5,077 筆 Gold Passage 資料各自都能對應到 18,670 筆主任務資料中的一筆。在兩個檔案都有的 9 種語言中,有 1,285 筆主任務資料至少有一位標註者標記了文字答案,但未收錄在 Gold Passage 檔案中。主任務開發集檔案包含日語和泰語,而 Gold Passage 檔案沒有這兩種語言的資料。
若要比較完整文章與較短的輸入,讓同一個模型針對兩種輸入各回答一次,並要求提供文字答案。較短的段落必須從文章中原文複製。兩次的設定、題目、答案格式、可接受答案和評分規則都要相同。確認每個可接受答案都出現在兩種輸入中。如果直接使用提供的 Gold Passage 資料,請檢查摘錄段落及其答案清單。依題目比對可以確認檔案有哪些共同題目,但段落文字和可接受答案可能不同。
作者的主任務與 Gold Passage 評估,計算整體平均時都未納入英語。
各語言數量統計(JSON) · 比對指令碼(Python) · 固定版本的主任務開發集檔案 · 固定版本的 Gold Passage 開發集檔案 · 官方評分規則
將兩個來源檔案分別儲存為 primary.parquet 和 gold.parquet。將指令碼和數量統計檔案儲存在同一個目錄,然後執行比對。指令碼會先驗證兩個輸入檔案的雜湊值,再讀取檔案。
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
哪些 XQuAD 題目來自 SQuAD?
全部 1,190 個英語 XQuAD 題目 ID 都能對應到 SQuAD 1.1 開發集檔案中的題目。這些 ID 對應的文章標題、段落和題目文字完全相同。我們檢查的 XQuAD 版本中,全部 12 個檔案都有相同的 ID,包括原始版本發布後加入的羅馬尼亞語檔案。
題目數量與比對結果(JSON) · XQuAD 原始論文 · 固定的 XQuAD 版本 · 固定版本的 SQuAD 開發集檔案
MLQA 題目換語言時,哪些內容維持不變?
4 個英語與越南語的開發集檔案共有 511 個相同的題目 ID。保留英語段落,將題目從英語改成越南語後,511 道題目全部改變,段落和可接受答案清單則都沒有改變。這項檢查比較了每個段落,以及依順序排列的可接受答案清單,包括儲存的偏移位置。兩次測試都使用相同的英語答案評分。
檔案比對數量統計(JSON) · MLQA 官方下載資源 · MLQA 原始論文
4 組檔案各包含哪些語言?
我們檢查了 TyDi QA 主任務和 Gold Passage 開發集、固定版本的 XQuAD,以及題目與段落使用相同語言的 MLQA 開發集檔案。阿拉伯語和英語是唯二在 4 組檔案中都有的語言。泰語出現在 TyDi QA 主任務和 XQuAD 中,但不在 Gold Passage 中。
各組檔案的語言代碼(JSON)
泰語選擇題測驗在哪裡?
Belebele 有一個名為 tha_Thai.jsonl 的泰語檔案。可用來測試模型讀完段落後,從 4 個選項中選出答案的能力。
作者提供的固定版本泰語檔案 · Belebele 原始論文 · 如何比較不同語言的閱讀理解選擇題分數