閱讀基準測試指南的研究證據

這些檢查使用原始的 Belebele 和 FLORES-200 壓縮檔,以及公開的 MLQA 開發集檔案。Belebele 每道題目有 4 個選項。原始 ZIP 中的 122 個語言及文字系統檔案共用 900 個題目 ID。在這些檔案中,每個 ID 都由來源網址和題號組成。Belebele 論文 · Belebele 下載與格式說明

把答案對到原本的題目

我們從每個 Belebele 檔案複製標記的答案編號,並依英文題目順序排列。其中 52 個檔案的題目順序與英文不同。依列號將複製的答案對回各檔案,得分為 73.55%;依題目 ID 配對,109,800 列的得分為 100%。依列號配對時,有 38,876 個答案被對到不同的題目。其中 9,838 個因答案編號相同,仍獲得分數。

檢查有沒有文字相同的選項

在 148 列資料中,另一個選項的文字與標記為答案的選項完全相同。我們複製了每一列中標記為答案的選項文字。將文字相同的第一個選項判為答案,會損失 16 分;將最後一個選項判為答案,則會損失 133 分。這項檢查會依照原始 ZIP 檔案中的儲存內容,逐字比對文字。

用同一組題目比較成績

只在出現問題的檔案中移除受影響的 148 列後,每個檔案會剩下 894 到 899 道題目。受影響的列涵蓋 23 個不同的題目 ID。從每個檔案移除全部 23 個 ID 後,每個檔案都會留下相同的 877 道題目。

檢查文章的來源

在英文檔案中,513 道題目的來源指向原始 FLORES-200 開發集中的頁面。其中 417 道題目可將原始 FLORES 句子依序串接,完全重現 Belebele 文章。這兩個資料集共有的其他 116 個語言及文字系統檔案中,完全相符的數量各有不同。

我們也檢查了共有的 117 個語言及文字系統檔案,包括英文檔案,其中有 45,279 列 Belebele 資料的來源網址屬於 FLORES-200 devtest。其中有 9 個不同的題目 ID,各自在至少一個檔案中的文章包含一個完整的開發集句子。這項檢查比對了原始資料集中的來源網址和完全相同的文字。FLORES-200 文件 · 原始 FLORES-200 壓縮檔

檢查選最短答案的規則

在完整的 Belebele 測試中,一律選擇最短答案的得分為 27.03%。這項規則先將等價的 Unicode 字元和空白字元標準化,再計算字元數。若有多個選項並列最短,就將 1 分平均分給這些選項,只計入標記答案分到的分數。從 4 個選項中等機率猜測的預期得分為 25%。Belebele 原作者也曾利用詞彙重疊和答案長度檢查線索。他們也報告,一個使用詞彙但不考慮詞序的模型,在 900 道題目中得到 28% 的成績。Belebele 論文第 3.2 節 · 附錄 A.6

比較使用不同文章的成績

我們在英文和越南文中使用相同的 900 個題目 ID。這項規則會選出在題目或提供的文章中出現過的不重複詞彙比例最高的選項。沒有文章時,只使用題目。若選項並列,則平均分配 1 分。每次替換測試都使用另一個頁面的文章,且兩種語言使用相同的替換來源頁面。

語言 沒有文章 第一次替換 原本搭配的文章 16 次替換的得分範圍
英文 24.60% 26.38% 28.72% 24.60% 至 27.89%
越南文 25.98% 24.80% 27.17% 23.58% 至 27.84%

英文中,原本搭配的文章得分高於全部 16 次替換;越南文中則高於其中 15 次。與沒有文章相比,使用原本搭配的文章讓英文的 311 道題目和越南文的 313 道題目得分增加,也讓英文的 218 道題目和越南文的 234 道題目得分減少。詞彙比對程式碼 · 彙總結果

改變題目語言

在英文和越南文的 MLQA 開發集檔案中,有 511 個題目 ID 出現在題目與文章語言的全部 4 種組合中。對這些 ID 而言,固定使用英文文章,將題目語言從英文改為越南文後,文章和可接受的答案清單仍完全相同。使用這種設定比較時,兩次測試都以相同的英文答案評分。MLQA 論文 · MLQA 檔案結構

重做詞彙比對檢查

下載原始 Belebele ZIP 檔、詞彙比對指令碼、搭配使用的 Python 輔助程式,以及已儲存的彙總結果,並將它們放在同一個資料夾中。指令碼會驗證壓縮檔的雜湊值,並讀取英文和越南文檔案。結果以計分單位呈現,12 個單位等於答對 1 題。使用 Python 3.12 重做這項比較。

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json