阅读文章 · 下载证据(Markdown)

核对转录评分的证据

以下示例使用虚构文本或公共基准测试提交结果的汇总数据。词错误率(WER)是插入、删除和替换错误总数除以参考词数。将结果乘以 100,即可表示为百分比。JiWER 评分与对齐

分段示例

参考分段为 turn left 和 then stop,交付的分段为 turn left then 和 stop。按各分段分别评分时,评分器将 then 计为一次插入和一次删除。4 个参考词中有 2 个错误,词错误率为 50%。将分段合并后,两边均为 turn left then stop,4 个词中没有错误。这里比较的是所提供分段中的文本。要核实词语在录音中出现的时间,需要检查音频和时间戳。JiWER 对齐

静音片段示例

以下是虚构片段的汇总错误率。2 段语音片段共有 8 个参考词。第 3 段经核实为静音,参考词数为 0。

参与评分的片段系统 A 的词语错误数系统 B 的词语错误数参考词数A 的词错误率B 的词错误率
2 段语音片段0180%12.5%
2 段语音片段和 1 段静音片段21825%12.5%

系统 A 在静音片段中输出了 2 个词,系统 B 则未输出文本。对经核实为静音但输出了多余词语的片段,应在汇总词错误率之外单独报告。缺少参考文本的片段应单独标记状态。JiWER 4 空参考文本规则

标点符号测试

使用 JiWER 4.0.0 测试了 2 组虚构文本,并选择对每组的两边都执行标点符号移除。处理后,offset -5 meters 和 offset 5 meters 相同,offset 1.5 meters 和 offset 15 meters 也相同。两组文本转换后的词错误率均为 0%,但每组原始文本中的数字字段都不同。JiWER 标点符号移除

Whisper 测试

在另一个虚构示例中,固定版本的 Whisper 英文规范化器将 offset negative one point five meters 转换为 offset -one.5 meters。经过一次清理后,固定使用的预测文本为 offset one.5 meters。两段文本的 3 个词中有 1 个不同,词错误率为 33.3%。第二次处理将保存的参考文本转换为 offset one.5 meters。与同一预测文本比较时,错误数变为 0。此次重算测试的是文本评分。Whisper 发布版本 · 固定版本的英文规范化器

评分比较

按片段 ID 匹配两个模型保存的输出和清理后的 GigaSpeech 数据划分。两个模型提交结果中的片段 ID 相同,且每个片段的原始参考文本一致。与清理后数据划分的交集包含 18,760 个片段。使用原始参考文本和清理后的参考文本分别对同一组片段评分,并在使用不同版本评分器时保持各模型保存的预测文本不变。每个评分版本都使用其自带的英文规范化规则。对齐使用 Kaldialign 0.12.0,并启用复合词合并。先汇总匹配片段的错误数和参考词数,再相除计算词错误率。

评分版本分别为 edd68424736537b6d0191be325ae3605c33de284 和 f58d58a3f98eb9d5c2dd284ce85954b3cd801759。旧版评分器 · 更新后的评分器

参考文本模型旧版错误数 / 词数旧版词错误率更新后错误数 / 词数更新后词错误率
原始ARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
原始ARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
清理后ARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
清理后ARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

在原始 3B GigaSpeech 清单中,先移除 GigaSpeech 文档记录的 4 类标点符号标记,再应用新版规范化规则,所有 19,898 行的参考文本和预测文本词元均恢复为旧版结果。对于清理后的 0.6B 数据,两版评分的错误率四舍五入后百分比相同,更新后的规则少计了 5 个错误。这些结果来自对同一发布者保存的提交结果的重算,表明了在固定评分设置下规则对这些输出的影响。GigaSpeech 文本预处理

固定版本的 3B 提交结果 · 固定版本的 0.6B 提交结果 · 固定版本的清理后参考文本

已保存评分测试

虚构的参考文本为 we [need to leave] now,预测文本为 we now。旧版评分器移除了方括号中的 3 个词,给出 0% 的词错误率。保留评分文件时,更新后的评分器返回 0%,且未对齐任何文本对。请求重新计算时,它对齐了 1 组文本,将方括号中的词保留为参考词,得出 5 个词中有 3 个删除错误,即词错误率为 60%。已合并的更改记录了重新计算选项。Open ASR 评分更改

录音测试

根据 GigaSpeech 片段 ID 中编码的原始录音,将 18,760 个匹配片段分组。对 131 个组中的每一组,从两个系统的结果中排除该组的所有片段,再用剩余参考词重新计算差距。差距为 0.6B 的词错误率减去 3B 的词错误率。使用清理后的参考文本和新版评分器时,全量数据的差距为 100 × (29,336 − 27,506) / 397,143,即 0.460791 个百分点。131 次排除所得的差距范围为 0.430797 到 0.478149 个百分点,每次排除后的排名顺序均相同。此测试用于检查匹配数据集中每次排除一条录音时结果的敏感性。GigaSpeech 录音和片段标识符