# 如何比較不同語言的閱讀選擇題成績

比較時，各語言都要用同樣的題目和評分規則。先看看有沒有文字相同的選項，或模型可能讀過的文章。我們從多語言閱讀測驗 Belebele 的各個檔案抄下標示為正確答案的選項編號，再依照英文版的題目順序排列。按各檔案的列號對答案，得分是 73.55%。按題目 ID 對答案，得分是 100%。 [重做 Belebele 評分](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 把答案對到原本的題目

每筆回答都要保留語言、題目 ID 和所選答案的編號或字母。Belebele 的 122 個檔案共用 900 個題目 ID，其中 52 個檔案的題目順序和英文版不同。按列號對答案時，有 9,838 筆回答對錯了題目，卻因為選項編號剛好一樣而得分。 [檢查題目順序](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## 檢查有沒有文字相同的選項

假設 B 和 D 都寫著 `12`，檔案把 B 標為正確答案。回答 `12` 只告訴你選項的文字，依選項位置評分時還得知道字母。Belebele 有 148 筆題目，正確答案的文字也出現在其他選項。我們原樣抄下這些答案文字，選第一個符合的選項會少拿 16 分，選最後一個則會少拿 133 分。先決定要按選項代號還是答案文字評分，再依同一套規則檢查選項。 [文字重複的選項](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## 用同一組題目比較成績

如果只在重複選項出現的檔案去掉那 148 筆題目，各語言會剩下 894 到 899 題。如果比較時各語言都要用完全相同的題目，就從每個檔案都排除這 23 個受影響的題目 ID。這樣會剩下 877 題共用題目。請列出原有題數和實際計分的題數。 [比較題目篩選方式](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 檢查模型可能讀過哪些文章

如果曾用 FLORES-200 開發集調整模型，就看看 Belebele 有沒有收錄同樣的文章。英文檔案中有 513 題指向該開發集用過的網頁。當中有 417 題，把 FLORES 的句子接起來，就和 Belebele 的整篇文章一字不差。兩套資料另外共用 116 個語言或文字系統的檔案，每個檔案完全相同的文章數量有所不同。請檢查你實際測試的語言版本。 [重複使用的英文文章](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [重複使用的翻譯文章](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
