跳至主要內容

選單

研究

如何比較不同語言的閱讀選擇題成績

語言: 繁體中文(台灣)

比較時,各語言都要用同樣的題目和評分規則。先看看有沒有文字相同的選項,或模型可能讀過的文章。我們從多語言閱讀測驗 Belebele 的各個檔案抄下標示為正確答案的選項編號,再依照英文版的題目順序排列。按各檔案的列號對答案,得分是 73.55%。按題目 ID 對答案,得分是 100%。 重做 Belebele 評分

把答案對到原本的題目

每筆回答都要保留語言、題目 ID 和所選答案的編號或字母。Belebele 的 122 個檔案共用 900 個題目 ID,其中 52 個檔案的題目順序和英文版不同。按列號對答案時,有 9,838 筆回答對錯了題目,卻因為選項編號剛好一樣而得分。 檢查題目順序

檢查有沒有文字相同的選項

假設 B 和 D 都寫著 12,檔案把 B 標為正確答案。回答 12 只告訴你選項的文字,依選項位置評分時還得知道字母。Belebele 有 148 筆題目,正確答案的文字也出現在其他選項。我們原樣抄下這些答案文字,選第一個符合的選項會少拿 16 分,選最後一個則會少拿 133 分。先決定要按選項代號還是答案文字評分,再依同一套規則檢查選項。 文字重複的選項

用同一組題目比較成績

如果只在重複選項出現的檔案去掉那 148 筆題目,各語言會剩下 894 到 899 題。如果比較時各語言都要用完全相同的題目,就從每個檔案都排除這 23 個受影響的題目 ID。這樣會剩下 877 題共用題目。請列出原有題數和實際計分的題數。 比較題目篩選方式

檢查模型可能讀過哪些文章

如果曾用 FLORES-200 開發集調整模型,就看看 Belebele 有沒有收錄同樣的文章。英文檔案中有 513 題指向該開發集用過的網頁。當中有 417 題,把 FLORES 的句子接起來,就和 Belebele 的整篇文章一字不差。兩套資料另外共用 116 個語言或文字系統的檔案,每個檔案完全相同的文章數量有所不同。請檢查你實際測試的語言版本。 重複使用的英文文章 · 重複使用的翻譯文章