跳至主要內容

選單

研究

如何檢查模型有沒有用到文章內容

語言: 繁體中文(台灣)

請模型回答同樣的題目兩次,一次給文章,一次不給文章。題目、選項和評分規則都一樣。比較兩次分數,就能看出提供文章對這些題目有多少幫助。如果是選擇題,可以再測一次,只給選項。在整份 Belebele 測驗中,「總是選最短的答案」這條規則拿到 27.03%。如果每個選項被猜中的機會一樣,預期得分是 25%。 檢查 Belebele 的答案長度

每次只改一項給模型的資料

模型看到什麼要比較什麼
文章、題目和選項資料給齊時的答對比例
題目和選項沒有文章時的答對比例
只有選項只看選項時的答對比例

每次都用同一個模型和同樣的設定。數一數加上文章後,有幾題從答錯變答對,又有幾題從答對變答錯。就算兩次答對的題目不同,這兩個數字也能解釋為什麼總分只差一點。如果測驗要求模型自己寫出答案,前兩次測試都不給選項,並用同一組可接受的答案評分。

看看哪些題從對變錯或從錯變對

假設兩次都在 100 題中答對 70 題。用題目 ID 對照後,發現有 62 題兩次都答對,22 題兩次都答錯。加上文章後,有八題從錯變對,也有八題從對變錯。分數還是 70%,但有 16 題可以仔細看,了解文章在哪裡有幫助,又在哪裡讓回答變差。

試試按相同的字詞選答案

Belebele 的作者檢查過相同的字詞和選項長度會不會透露答案。他們也報告,有個模型只看出現了哪些詞,不管詞的順序,在 900 題中得到 28%。 Belebele 論文第 3.2 節 · 附錄 A.6

我們在英文和越南文的同一組 900 道 Belebele 題目上,依同一條規則用相同的字詞選答案。測試分成不給文章、給原本搭配題目的文章,以及換成別的網頁上的文章。每個選項裡的詞只算一次,然後比較有多少比例也出現在題目或給出的文章裡。沒給文章就只看題目。規則會選比例最高的選項。如果幾個選項並列第一,就平分一分,只計入正確選項分到的分數。每題的英文和越南文替換文章都來自同一個其他網頁,各用各自的語言。 程式碼 · 結果

語言不給文章其他網頁上的文章原本搭配題目的文章
英文24.60%26.38%28.72%
越南文25.98%24.80%27.17%

第一次比較時,兩種語言都是給原本搭配的文章時分數最高。後來我們又試了 15 種替換方式。全部 16 種替換得到的分數,英文介於 24.60% 到 27.89%,越南文介於 23.58% 到 27.84%。給原本搭配的文章,英文分數高於全部 16 種替換,越南文則高於其中 15 種。試用幾篇不同的替換文章,可以減少單一網頁對結論的影響。 所有替換方式的結果

跟沒給文章相比,給原本搭配的文章後,英文有 311 題拿到較多分,越南文有 313 題。英文有 218 題拿到較少分,越南文有 234 題。要比較這條規則和模型的表現,請用同一組題目評分。

每次都用同樣的題目和評分規則

每筆回答都要保留題目 ID。Belebele 的 122 個檔案共用 900 個題目 ID,其中 52 個檔案的題目順序和英文版不同。如果排除選項文字重複的題目,每次要比較的測試都要去掉相同的題目 ID。保留選項字母,評分時才能分辨兩個文字一樣的選項。 重做題目順序測試 · 篩選題目

檢查模型之前可能看過什麼

沒給文章也能答對,可能是模型已經知道答案、從題目或選項找到線索,或只是猜對了。如果用過 FLORES-200 開發集調整模型,現在想用 Belebele 測驗,可以排除來自那批開發集網址的題目。也要檢查文章內容。原始檔案中,有九題雖然來自其他網址,卻在至少一個受檢查的語言或文字版本中含有開發集的句子。 檢查 Belebele 的文章

換提問語言時,用同一篇文章

想知道換一種語言提問會不會影響結果,就單獨做這項比較。在我們檢查的英文和越南文 MLQA 檔案裡,有 511 個題目 ID 可以只換題目的語言,同時保留完全相同的英文文章和可接受的答案。兩次都用同一組英文答案評分。 MLQA 對應的題目