跳至主要內容

選單

研究

如何選擇多語言閱讀理解測驗

語言: 繁體中文(台灣)

選一個能測出模型是否會做使用者所需工作的測驗。找對段落、根據提供的段落回答問題,以及理解另一種語言的提問,是不同的能力。分開測試,就知道哪個步驟需要多加檢查。

想檢查什麼從哪裡開始模型要做什麼
能在一篇文章裡找對段落嗎?TyDiQA-SelectP從一篇文章裡挑出一個段落,或指出沒有段落能回答問題。
能找到回答問題的字詞嗎?TyDiQA-GoldP從含有答案的段落取出構成答案的字詞。
能用不同語言回答同一組問題嗎?XQuAD 或 Belebele在 XQuAD 裡根據翻譯過的段落回答,或在 Belebele 裡從四個選項選一個。
問題和段落用不同語言時,還能回答嗎?MLQA從另一種語言寫成的段落找出答案。

檢查模型能不能找到答案

如果模型需要在文章裡找對段落,就用 TyDiQA-SelectP。如果還需要給簡短答案、回答是或否,或指出文章沒有答案,就用 TyDiQA-MinSpan。TyDi QA 的問題由人直接用各自的語言撰寫。 TyDi QA 任務說明

想知道較短的段落有多少幫助,可以請同一個模型寫兩次答案。一次給整篇文章,一次給從同一篇文章逐字擷取的片段。兩次使用相同的設定、問題、作答格式、可接受答案和評分規則。確認每個可接受答案都出現在兩份輸入裡。如果直接使用 Gold Passage 的某筆資料,請檢查片段和答案清單。檔案裡可能有同一個問題,段落或可接受答案卻不同。TyDi QA 的開發檔案可用來準備這項比較。Gold Passage 的 5,077 題全部也出現在有 18,670 題的主要資料集裡。Gold Passage 沒有日語和泰語題,也排除了九種共有語言中有標記書面答案的 1,285 題。請按語言、文章標題和問題的確切文字配對,只用一對一相符的題目。 TyDi QA 題目比較

比較不同語言時,用同一組題目

XQuAD 把同一組問題和段落翻譯成不同語言給模型作答。1,190 道英文題來自 SQuAD 1.1 的開發集。我們檢查過的翻譯檔案都有同一組題目 ID。如果用 SQuAD 開發集調整過模型,先檢查題目是否重疊,再決定能不能用 XQuAD 當作新題測驗。 XQuAD 原始論文 · 檢查重複使用的題目

要讓模型從四個答案中選一個,可以用 Belebele。按語言和文字系統區分的 122 個檔案共用 900 個題目 ID。請儲存模型選的編號或字母。兩個選項可能有相同的文字,只留文字可能分不出選的是哪個。如果排除這類題目,所有要比較的語言都要用同一組剩下的 ID。 比較不同語言的閱讀成績

換提問語言時,用同一個段落

例如,說越南語的人可能會問一份英文文件的內容,這時可以用 MLQA。我們檢查的英文和越南文開發檔案共有 511 題,可以用任一種語言提問,並保留完全相同的英文段落和可接受答案。兩次都用同一組英文答案評分,就能看出換提問語言後有哪些變化。 MLQA 原始論文 · 比較英文和越南文檔案

如果要單獨檢查段落有多大幫助,就在有給和沒給段落時問同一組問題。 檢查模型有沒有用到文章

確認測驗有你需要的語言

測試泰語時,可以用 TyDiQA-SelectP 檢查模型能不能找對段落,用 XQuAD 檢查能不能在提供的段落中找到答案的字詞,或用 Belebele 檢查能不能選對答案。TyDiQA-GoldP 的開發檔案沒有泰語題。四組比較的檔案都含有的語言只有阿拉伯語和英語。這四組是 TyDi QA 主要資料集、TyDi QA Gold Passage、XQuAD,以及問題和段落使用同一語言的 MLQA 開發檔案。 檢查涵蓋的語言 · Belebele 語言檔案

報告分數時,請寫出任務、語言,以及每個分數納入多少題。例如,TyDi QA 的兩種官方評分方式在計算整體平均時都排除英語,即使檔案有英文題。 TyDi QA 評分說明