閱讀文章 · 下載證據資料(Markdown)

核對逐字稿評分的證據

以下範例使用虛構文字或公開基準測試提交資料的彙總結果。詞錯誤率(WER)是將插入、刪除和替換的錯誤總數除以參考文字的詞數。將結果乘以 100,即可換算為百分比。JiWER 評分與對齊

片段範例

參考片段分別為 turn left 和 then stop,提交的片段分別為 turn left then 和 stop。逐段評分時,評分工具將 then 計為 1 次插入和 1 次刪除。參考文字共有 4 個詞,發生 2 個錯誤,詞錯誤率為 50%。將片段合併後,兩邊皆為 turn left then stop,4 個詞中沒有錯誤。這項比較使用所提供片段中的文字。若要確認詞語在錄音中的出現時間,須檢查音訊和時間戳記。JiWER 對齊

靜音片段範例

這些是虛構片段合併計算後的詞錯誤率。2 段語音片段的參考文字共有 8 個詞。第 3 段經確認為靜音,參考詞數為 0。

評分片段系統 A 的詞錯誤數系統 B 的詞錯誤數參考詞數系統 A 詞錯誤率系統 B 詞錯誤率
2 段語音片段0180%12.5%
2 段語音片段和 1 段靜音片段21825%12.5%

系統 A 在靜音片段中產生了 2 個詞,系統 B 則留白。經確認為靜音但產生了多餘詞語的片段,應與合併計算的詞錯誤率分開報告。缺少參考文字的片段應另行標示狀態。JiWER 4 空白參考文字規則

標點符號測試

使用 JiWER 4.0.0 測試 2 組虛構文字,並對每組的兩邊套用可選的標點符號移除處理。處理後,offset -5 meters 和 offset 5 meters 變得相同,offset 1.5 meters 和 offset 15 meters 也變得相同。轉換後,兩組比較的詞錯誤率皆為 0%。這兩組原始文字中的數字欄位各自不同。JiWER 標點符號移除處理

Whisper 測試

在另一個虛構範例中,Whisper 固定版本的英文正規化工具將 offset negative one point five meters 轉換為 offset -one.5 meters。經過 1 次清理後,固定使用的預測文字為 offset one.5 meters。兩段文字的 3 個詞中有 1 個不同,詞錯誤率為 33.3%。第二次處理將儲存的參考文字轉換為 offset one.5 meters。與相同的預測文字比較時,錯誤數變為 0。這項重算測試的是文字評分。Whisper 版本 · 固定版本的英文正規化工具

評分比較

依片段 ID 比對 2 個模型儲存的輸出與清理後的 GigaSpeech 資料分割。2 份模型提交資料包含相同的片段 ID,且每個片段的原始參考文字一致。與清理後資料分割的交集包含 18,760 段片段。分別使用原始和清理後的參考文字,對同一組片段評分。各評分工具使用的每個模型預測文字皆固定為其儲存的內容。每個評分工具版本使用其提供的英文正規化方式。對齊使用 Kaldialign 0.12.0,並啟用複合詞合併。將所有配對片段的錯誤數與參考詞數分別加總後,再相除。

評分工具版本分別為 edd68424736537b6d0191be325ae3605c33de284 和 f58d58a3f98eb9d5c2dd284ce85954b3cd801759。較早版本的評分工具 · 更新後的評分工具

參考文字模型較早版本的錯誤數/詞數較早版本的詞錯誤率更新後的錯誤數/詞數更新後的詞錯誤率
原始ARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
原始ARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
清理後ARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
清理後ARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

對於原始的 3B GigaSpeech 清單,在套用較新的正規化處理前,先移除 GigaSpeech 文件所載的 4 種標點符號標記,可使全部 19,898 筆資料的參考與預測詞元恢復為較早版本的結果。清理後的 0.6B 詞錯誤率四捨五入後為相同百分比;採用更新後的規則時,錯誤數少了 5 個。這些結果是重算同一發布者儲存的提交資料所得,顯示在固定的評分設定下,規則對這些輸出的影響。GigaSpeech 文字前處理

固定版本的 3B 提交資料 · 固定版本的 0.6B 提交資料 · 固定版本的清理後參考文字

儲存評分測試

虛構的參考文字為 we [need to leave] now,預測文字為 we now。較早版本的評分工具會移除方括號內的 3 個詞,並算出這組文字的詞錯誤率為 0%。保留評分檔案時,更新後的評分工具會回傳 0%,且不對齊任何文字配對。要求重新計算時,工具會對齊 1 組文字,將方括號內的詞保留為參考詞,並算出 5 個詞中有 3 個刪除錯誤,詞錯誤率為 60%。已合併的變更記載了重新計算選項。Open ASR 評分變更

錄音測試

依 GigaSpeech 片段 ID 所標示的原始錄音,將 18,760 段配對片段分組。針對 131 個群組中的每一組,從兩個系統的資料中排除該組所有片段,再使用其餘參考詞數重新計算差距。差距為 0.6B 的詞錯誤率減去 3B 的詞錯誤率。使用清理後的參考文字和較新的評分工具時,完整資料集的差距為 100 × (29,336 − 27,506) / 397,143,即 0.460791 個百分點。131 次排除所得的差距介於 0.430797 至 0.478149 個百分點之間。每次排除後,兩者的排序均相同。這項測試檢查配對資料集中,每次排除一筆錄音對結果的影響。GigaSpeech 錄音與片段識別碼