# 如何檢查模型有沒有用到文章內容

請模型回答同樣的題目兩次，一次給文章，一次不給文章。題目、選項和評分規則都一樣。比較兩次分數，就能看出提供文章對這些題目有多少幫助。如果是選擇題，可以再測一次，只給選項。在整份 Belebele 測驗中，「總是選最短的答案」這條規則拿到 27.03%。如果每個選項被猜中的機會一樣，預期得分是 25%。 [檢查 Belebele 的答案長度](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## 每次只改一項給模型的資料

| 模型看到什麼 | 要比較什麼 |
| --- | --- |
| 文章、題目和選項 | 資料給齊時的答對比例 |
| 題目和選項 | 沒有文章時的答對比例 |
| 只有選項 | 只看選項時的答對比例 |

每次都用同一個模型和同樣的設定。數一數加上文章後，有幾題從答錯變答對，又有幾題從答對變答錯。就算兩次答對的題目不同，這兩個數字也能解釋為什麼總分只差一點。如果測驗要求模型自己寫出答案，前兩次測試都不給選項，並用同一組可接受的答案評分。

## 看看哪些題從對變錯或從錯變對

假設兩次都在 100 題中答對 70 題。用題目 ID 對照後，發現有 62 題兩次都答對，22 題兩次都答錯。加上文章後，有八題從錯變對，也有八題從對變錯。分數還是 70%，但有 16 題可以仔細看，了解文章在哪裡有幫助，又在哪裡讓回答變差。

## 試試按相同的字詞選答案

Belebele 的作者檢查過相同的字詞和選項長度會不會透露答案。他們也報告，有個模型只看出現了哪些詞，不管詞的順序，在 900 題中得到 28%。 [Belebele 論文第 3.2 節](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [附錄 A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

我們在英文和越南文的同一組 900 道 Belebele 題目上，依同一條規則用相同的字詞選答案。測試分成不給文章、給原本搭配題目的文章，以及換成別的網頁上的文章。每個選項裡的詞只算一次，然後比較有多少比例也出現在題目或給出的文章裡。沒給文章就只看題目。規則會選比例最高的選項。如果幾個選項並列第一，就平分一分，只計入正確選項分到的分數。每題的英文和越南文替換文章都來自同一個其他網頁，各用各自的語言。 [程式碼](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [結果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| 語言 | 不給文章 | 其他網頁上的文章 | 原本搭配題目的文章 |
| --- | ---: | ---: | ---: |
| 英文 | 24.60% | 26.38% | 28.72% |
| 越南文 | 25.98% | 24.80% | 27.17% |

第一次比較時，兩種語言都是給原本搭配的文章時分數最高。後來我們又試了 15 種替換方式。全部 16 種替換得到的分數，英文介於 24.60% 到 27.89%，越南文介於 23.58% 到 27.84%。給原本搭配的文章，英文分數高於全部 16 種替換，越南文則高於其中 15 種。試用幾篇不同的替換文章，可以減少單一網頁對結論的影響。 [所有替換方式的結果](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

跟沒給文章相比，給原本搭配的文章後，英文有 311 題拿到較多分，越南文有 313 題。英文有 218 題拿到較少分，越南文有 234 題。要比較這條規則和模型的表現，請用同一組題目評分。

## 每次都用同樣的題目和評分規則

每筆回答都要保留題目 ID。Belebele 的 122 個檔案共用 900 個題目 ID，其中 52 個檔案的題目順序和英文版不同。如果排除選項文字重複的題目，每次要比較的測試都要去掉相同的題目 ID。保留選項字母，評分時才能分辨兩個文字一樣的選項。 [重做題目順序測試](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [篩選題目](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## 檢查模型之前可能看過什麼

沒給文章也能答對，可能是模型已經知道答案、從題目或選項找到線索，或只是猜對了。如果用過 FLORES-200 開發集調整模型，現在想用 Belebele 測驗，可以排除來自那批開發集網址的題目。也要檢查文章內容。原始檔案中，有九題雖然來自其他網址，卻在至少一個受檢查的語言或文字版本中含有開發集的句子。 [檢查 Belebele 的文章](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## 換提問語言時，用同一篇文章

想知道換一種語言提問會不會影響結果，就單獨做這項比較。在我們檢查的英文和越南文 MLQA 檔案裡，有 511 個題目 ID 可以只換題目的語言，同時保留完全相同的英文文章和可接受的答案。兩次都用同一組英文答案評分。 [MLQA 對應的題目](https://sapien1.com/zh-Hant-TW/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
