跳至主要內容

選單

研究

驗收逐字稿前,如何核對評分

語言: 繁體中文(台灣)

先索取片段清單、評分用的參考文字、交付的逐字稿,以及評分設定。詞錯誤率以每 100 個參考詞為基準,計算替換、漏掉和額外插入的詞數。即使錯誤率低,也可能有影響工作的錯誤,例如少了負號,或某個詞出現在錄音的錯誤位置。驗收前請核對這些細節。 詞錯誤率的計算方式

檢查詞語是否出現在錄音的正確位置

假設參考文字分成兩段,分別是 turn left 和 then stop,交付的逐字稿卻分成 turn left then 和 stop。把兩段接在一起時,四個詞順序正確,詞錯誤率為 0%。但分段評分時,第一段多了 then,第二段少了這個詞,詞錯誤率為 50%。如果片段的起訖位置對工作很重要,就逐段評分。 分段範例

在測試中保留靜音片段

在一項虛構測試中,兩段有人聲的片段上,系統 A 的詞錯誤率為 0%,系統 B 為 12.5%。我們加入一段已確認是靜音的片段後,A 在該片段產生兩個詞,錯誤率升至 25%。B 仍為 12.5%。如果交付內容包含靜音,請回報有多少已確認靜音的片段出現不該有的文字。缺少參考文字的片段要另外標記,以免被當成靜音。 靜音片段範例

對照原始文字中的數字

在一次測試中,評分規則把 offset -5 meters 和 offset 5 meters 視為相同,也把 offset 1.5 meters 和 offset 15 meters 視為相同。在另一項 Whisper 測試中,第一次正規化保留了「negative one point five」的負號,第二次則把它去掉。比對同一個沒有正負號的答案時,詞錯誤率從 33.3% 降到 0%。如果數字很重要,請查看原始文字,並記下每份文字正規化了幾次。 標點符號測試 · Whisper 測試

規則改變時,用相同的片段重新評分

我們用同一批 18,760 段 GigaSpeech 音訊,評估兩個 ARK-ASR 模型先前儲存的逐字稿。使用原始參考逐字稿時,Open ASR 更新評分規則後,大模型的詞錯誤率從 6.93% 升到 15.11%,小模型則從 7.39% 升到 15.50%。新規則把 <COMMA> 等標點標記算成詞。若對同一批片段使用已清理的參考逐字稿,取到小數點後兩位,兩個模型在新舊規則下的錯誤率都分別為 6.93% 和 7.39%。 評分比較

評分規則改變後,請使用相同的片段和參考逐字稿重算兩個分數。在另一個虛構範例中,更新過的評分程式先從已儲存的檔案讀出舊結果,直到我們明確要求它重算。比較結果前,請確認評分程式確實重新計算。 已儲存分數的測試

結果接近時,檢查單筆錄音的影響

有些錄音可以切成許多片段。在 GigaSpeech 測試中,我們每次完整移除一筆錄音,然後用剩下的片段比較兩個模型。使用已清理的參考逐字稿和新規則時,在全部 131 筆錄音上,大模型的詞錯誤率低 0.46 個百分點。每次移除一筆錄音後,差距在 0.43 到 0.48 個百分點之間。這項檢查可以判斷很接近的結果是否取決於單筆錄音。 以錄音為單位的測試