# 驗收逐字稿前，如何核對評分

先索取片段清單、評分用的參考文字、交付的逐字稿，以及評分設定。詞錯誤率以每 100 個參考詞為基準，計算替換、漏掉和額外插入的詞數。即使錯誤率低，也可能有影響工作的錯誤，例如少了負號，或某個詞出現在錄音的錯誤位置。驗收前請核對這些細節。 [詞錯誤率的計算方式](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## 檢查詞語是否出現在錄音的正確位置

假設參考文字分成兩段，分別是 `turn left` 和 `then stop`，交付的逐字稿卻分成 `turn left then` 和 `stop`。把兩段接在一起時，四個詞順序正確，詞錯誤率為 0%。但分段評分時，第一段多了 `then`，第二段少了這個詞，詞錯誤率為 50%。如果片段的起訖位置對工作很重要，就逐段評分。 [分段範例](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#segment-example)

## 在測試中保留靜音片段

在一項虛構測試中，兩段有人聲的片段上，系統 A 的詞錯誤率為 0%，系統 B 為 12.5%。我們加入一段已確認是靜音的片段後，A 在該片段產生兩個詞，錯誤率升至 25%。B 仍為 12.5%。如果交付內容包含靜音，請回報有多少已確認靜音的片段出現不該有的文字。缺少參考文字的片段要另外標記，以免被當成靜音。 [靜音片段範例](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## 對照原始文字中的數字

在一次測試中，評分規則把 `offset -5 meters` 和 `offset 5 meters` 視為相同，也把 `offset 1.5 meters` 和 `offset 15 meters` 視為相同。在另一項 Whisper 測試中，第一次正規化保留了「negative one point five」的負號，第二次則把它去掉。比對同一個沒有正負號的答案時，詞錯誤率從 33.3% 降到 0%。如果數字很重要，請查看原始文字，並記下每份文字正規化了幾次。 [標點符號測試](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Whisper 測試](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#whisper-test)

## 規則改變時，用相同的片段重新評分

我們用同一批 18,760 段 GigaSpeech 音訊，評估兩個 ARK-ASR 模型先前儲存的逐字稿。使用原始參考逐字稿時，Open ASR 更新評分規則後，大模型的詞錯誤率從 6.93% 升到 15.11%，小模型則從 7.39% 升到 15.50%。新規則把 `<COMMA>` 等標點標記算成詞。若對同一批片段使用已清理的參考逐字稿，取到小數點後兩位，兩個模型在新舊規則下的錯誤率都分別為 6.93% 和 7.39%。 [評分比較](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#score-comparison)

評分規則改變後，請使用相同的片段和參考逐字稿重算兩個分數。在另一個虛構範例中，更新過的評分程式先從已儲存的檔案讀出舊結果，直到我們明確要求它重算。比較結果前，請確認評分程式確實重新計算。 [已儲存分數的測試](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#saved-score-test)

## 結果接近時，檢查單筆錄音的影響

有些錄音可以切成許多片段。在 GigaSpeech 測試中，我們每次完整移除一筆錄音，然後用剩下的片段比較兩個模型。使用已清理的參考逐字稿和新規則時，在全部 131 筆錄音上，大模型的詞錯誤率低 0.46 個百分點。每次移除一筆錄音後，差距在 0.43 到 0.48 個百分點之間。這項檢查可以判斷很接近的結果是否取決於單筆錄音。 [以錄音為單位的測試](https://sapien1.com/zh-Hant-TW/research/transcript-score-acceptance/evidence.html#recording-test)
