# 核对转录评分的证据

以下示例使用虚构文本或公共基准测试提交结果的汇总数据。词错误率（WER）是插入、删除和替换错误总数除以参考词数。将结果乘以 100，即可表示为百分比。[JiWER 评分与对齐](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## 分段示例

参考分段为 `turn left` 和 `then stop`，交付的分段为 `turn left then` 和 `stop`。按各分段分别评分时，评分器将 `then` 计为一次插入和一次删除。4 个参考词中有 2 个错误，词错误率为 50%。将分段合并后，两边均为 `turn left then stop`，4 个词中没有错误。这里比较的是所提供分段中的文本。要核实词语在录音中出现的时间，需要检查音频和时间戳。[JiWER 对齐](https://jitsi.github.io/jiwer/usage/#alignment)

## 静音片段示例

以下是虚构片段的汇总错误率。2 段语音片段共有 8 个参考词。第 3 段经核实为静音，参考词数为 0。

| 参与评分的片段 | 系统 A 的词语错误数 | 系统 B 的词语错误数 | 参考词数 | A 的词错误率 | B 的词错误率 |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 段语音片段 | 0 | 1 | 8 | 0% | 12.5% |
| 2 段语音片段和 1 段静音片段 | 2 | 1 | 8 | 25% | 12.5% |

系统 A 在静音片段中输出了 2 个词，系统 B 则未输出文本。对经核实为静音但输出了多余词语的片段，应在汇总词错误率之外单独报告。缺少参考文本的片段应单独标记状态。[JiWER 4 空参考文本规则](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## 标点符号测试

使用 JiWER 4.0.0 测试了 2 组虚构文本，并选择对每组的两边都执行标点符号移除。处理后，`offset -5 meters` 和 `offset 5 meters` 相同，`offset 1.5 meters` 和 `offset 15 meters` 也相同。两组文本转换后的词错误率均为 0%，但每组原始文本中的数字字段都不同。[JiWER 标点符号移除](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper 测试

在另一个虚构示例中，固定版本的 Whisper 英文规范化器将 `offset negative one point five meters` 转换为 `offset -one.5 meters`。经过一次清理后，固定使用的预测文本为 `offset one.5 meters`。两段文本的 3 个词中有 1 个不同，词错误率为 33.3%。第二次处理将保存的参考文本转换为 `offset one.5 meters`。与同一预测文本比较时，错误数变为 0。此次重算测试的是文本评分。[Whisper 发布版本](https://github.com/openai/whisper/releases/tag/v20250625) · [固定版本的英文规范化器](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## 评分比较

按片段 ID 匹配两个模型保存的输出和清理后的 GigaSpeech 数据划分。两个模型提交结果中的片段 ID 相同，且每个片段的原始参考文本一致。与清理后数据划分的交集包含 **18,760 个片段**。使用原始参考文本和清理后的参考文本分别对同一组片段评分，并在使用不同版本评分器时保持各模型保存的预测文本不变。每个评分版本都使用其自带的英文规范化规则。对齐使用 Kaldialign 0.12.0，并启用复合词合并。先汇总匹配片段的错误数和参考词数，再相除计算词错误率。

评分版本分别为 `edd68424736537b6d0191be325ae3605c33de284` 和 `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`。[旧版评分器](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [更新后的评分器](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| 参考文本 | 模型 | 旧版错误数 / 词数 | 旧版词错误率 | 更新后错误数 / 词数 | 更新后词错误率 |
| --- | --- | ---: | ---: | ---: | ---: |
| 原始 | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| 原始 | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| 清理后 | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| 清理后 | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

在原始 3B GigaSpeech 清单中，先移除 GigaSpeech 文档记录的 4 类标点符号标记，再应用新版规范化规则，所有 19,898 行的参考文本和预测文本词元均恢复为旧版结果。对于清理后的 0.6B 数据，两版评分的错误率四舍五入后百分比相同，更新后的规则少计了 5 个错误。这些结果来自对同一发布者保存的提交结果的重算，表明了在固定评分设置下规则对这些输出的影响。[GigaSpeech 文本预处理](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[固定版本的 3B 提交结果](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [固定版本的 0.6B 提交结果](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [固定版本的清理后参考文本](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## 已保存评分测试

虚构的参考文本为 `we [need to leave] now`，预测文本为 `we now`。旧版评分器移除了方括号中的 3 个词，给出 0% 的词错误率。保留评分文件时，更新后的评分器返回 0%，且未对齐任何文本对。请求重新计算时，它对齐了 1 组文本，将方括号中的词保留为参考词，得出 5 个词中有 3 个删除错误，即词错误率为 60%。已合并的更改记录了重新计算选项。[Open ASR 评分更改](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## 录音测试

根据 GigaSpeech 片段 ID 中编码的原始录音，将 18,760 个匹配片段分组。对 131 个组中的每一组，从两个系统的结果中排除该组的所有片段，再用剩余参考词重新计算差距。差距为 0.6B 的词错误率减去 3B 的词错误率。使用清理后的参考文本和新版评分器时，全量数据的差距为 `100 × (29,336 − 27,506) / 397,143`，即 **0.460791 个百分点**。131 次排除所得的差距范围为 **0.430797 到 0.478149 个百分点**，每次排除后的排名顺序均相同。此测试用于检查匹配数据集中每次排除一条录音时结果的敏感性。[GigaSpeech 录音和片段标识符](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
