# 核對逐字稿評分的證據

以下範例使用虛構文字或公開基準測試提交資料的彙總結果。詞錯誤率（WER）是將插入、刪除和替換的錯誤總數除以參考文字的詞數。將結果乘以 100，即可換算為百分比。[JiWER 評分與對齊](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## 片段範例

參考片段分別為 `turn left` 和 `then stop`，提交的片段分別為 `turn left then` 和 `stop`。逐段評分時，評分工具將 `then` 計為 1 次插入和 1 次刪除。參考文字共有 4 個詞，發生 2 個錯誤，詞錯誤率為 50%。將片段合併後，兩邊皆為 `turn left then stop`，4 個詞中沒有錯誤。這項比較使用所提供片段中的文字。若要確認詞語在錄音中的出現時間，須檢查音訊和時間戳記。[JiWER 對齊](https://jitsi.github.io/jiwer/usage/#alignment)

## 靜音片段範例

這些是虛構片段合併計算後的詞錯誤率。2 段語音片段的參考文字共有 8 個詞。第 3 段經確認為靜音，參考詞數為 0。

| 評分片段 | 系統 A 的詞錯誤數 | 系統 B 的詞錯誤數 | 參考詞數 | 系統 A 詞錯誤率 | 系統 B 詞錯誤率 |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 段語音片段 | 0 | 1 | 8 | 0% | 12.5% |
| 2 段語音片段和 1 段靜音片段 | 2 | 1 | 8 | 25% | 12.5% |

系統 A 在靜音片段中產生了 2 個詞，系統 B 則留白。經確認為靜音但產生了多餘詞語的片段，應與合併計算的詞錯誤率分開報告。缺少參考文字的片段應另行標示狀態。[JiWER 4 空白參考文字規則](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## 標點符號測試

使用 JiWER 4.0.0 測試 2 組虛構文字，並對每組的兩邊套用可選的標點符號移除處理。處理後，`offset -5 meters` 和 `offset 5 meters` 變得相同，`offset 1.5 meters` 和 `offset 15 meters` 也變得相同。轉換後，兩組比較的詞錯誤率皆為 0%。這兩組原始文字中的數字欄位各自不同。[JiWER 標點符號移除處理](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper 測試

在另一個虛構範例中，Whisper 固定版本的英文正規化工具將 `offset negative one point five meters` 轉換為 `offset -one.5 meters`。經過 1 次清理後，固定使用的預測文字為 `offset one.5 meters`。兩段文字的 3 個詞中有 1 個不同，詞錯誤率為 33.3%。第二次處理將儲存的參考文字轉換為 `offset one.5 meters`。與相同的預測文字比較時，錯誤數變為 0。這項重算測試的是文字評分。[Whisper 版本](https://github.com/openai/whisper/releases/tag/v20250625) · [固定版本的英文正規化工具](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## 評分比較

依片段 ID 比對 2 個模型儲存的輸出與清理後的 GigaSpeech 資料分割。2 份模型提交資料包含相同的片段 ID，且每個片段的原始參考文字一致。與清理後資料分割的交集包含 **18,760 段片段**。分別使用原始和清理後的參考文字，對同一組片段評分。各評分工具使用的每個模型預測文字皆固定為其儲存的內容。每個評分工具版本使用其提供的英文正規化方式。對齊使用 Kaldialign 0.12.0，並啟用複合詞合併。將所有配對片段的錯誤數與參考詞數分別加總後，再相除。

評分工具版本分別為 `edd68424736537b6d0191be325ae3605c33de284` 和 `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`。[較早版本的評分工具](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [更新後的評分工具](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| 參考文字 | 模型 | 較早版本的錯誤數／詞數 | 較早版本的詞錯誤率 | 更新後的錯誤數／詞數 | 更新後的詞錯誤率 |
| --- | --- | ---: | ---: | ---: | ---: |
| 原始 | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| 原始 | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| 清理後 | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| 清理後 | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

對於原始的 3B GigaSpeech 清單，在套用較新的正規化處理前，先移除 GigaSpeech 文件所載的 4 種標點符號標記，可使全部 19,898 筆資料的參考與預測詞元恢復為較早版本的結果。清理後的 0.6B 詞錯誤率四捨五入後為相同百分比；採用更新後的規則時，錯誤數少了 5 個。這些結果是重算同一發布者儲存的提交資料所得，顯示在固定的評分設定下，規則對這些輸出的影響。[GigaSpeech 文字前處理](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[固定版本的 3B 提交資料](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [固定版本的 0.6B 提交資料](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [固定版本的清理後參考文字](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## 儲存評分測試

虛構的參考文字為 `we [need to leave] now`，預測文字為 `we now`。較早版本的評分工具會移除方括號內的 3 個詞，並算出這組文字的詞錯誤率為 0%。保留評分檔案時，更新後的評分工具會回傳 0%，且不對齊任何文字配對。要求重新計算時，工具會對齊 1 組文字，將方括號內的詞保留為參考詞，並算出 5 個詞中有 3 個刪除錯誤，詞錯誤率為 60%。已合併的變更記載了重新計算選項。[Open ASR 評分變更](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## 錄音測試

依 GigaSpeech 片段 ID 所標示的原始錄音，將 18,760 段配對片段分組。針對 131 個群組中的每一組，從兩個系統的資料中排除該組所有片段，再使用其餘參考詞數重新計算差距。差距為 0.6B 的詞錯誤率減去 3B 的詞錯誤率。使用清理後的參考文字和較新的評分工具時，完整資料集的差距為 `100 × (29,336 − 27,506) / 397,143`，即 **0.460791 個百分點**。131 次排除所得的差距介於 **0.430797 至 0.478149 個百分點**之間。每次排除後，兩者的排序均相同。這項測試檢查配對資料集中，每次排除一筆錄音對結果的影響。[GigaSpeech 錄音與片段識別碼](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
