研究
验收转录交付前,如何核对评分
先索取片段清单、用于评分的参考文本、交付的转录文本和评分设置。词错误率以每 100 个参考词为基准,统计替换、遗漏和额外插入的词数。即使错误率很低,也可能掩盖影响任务的错误,比如负号丢失,或某个词出现在录音的错误位置。验收前要核对这些细节。 词错误率的计算方法
核对词语是否出现在录音的正确位置
假设参考文本分为两段,分别是 turn left 和 then stop。交付文本却分成 turn left then 和 stop。把两段接起来后,四个词的顺序都正确,词错误率为 0%。分段评分时,第一段多了 then,第二段少了这个词,词错误率为 50%。如果分段边界对任务很重要,就逐段评分。 分段示例
在测试中保留静音片段
在一次虚构测试中,两个语音片段上的词错误率分别为系统 A 的 0% 和系统 B 的 12.5%。我们加入一个已确认静音的片段后,A 在其中输出了两个词,错误率升到 25%。B 仍为 12.5%。如果交付内容包含静音,应报告有多少已确认静音的片段出现了不应有的文字。把缺少参考文本的片段单独标记,避免将其计作静音。 静音片段示例
查看原始文本中的数字
在一次测试中,评分规则把 offset -5 meters 和 offset 5 meters 视为相同。offset 1.5 meters 和 offset 15 meters 也是如此。在另一项 Whisper 测试中,第一次规范化保留了“negative one point five”的负号,第二次却去掉了负号。对同一个无符号回答,词错误率从 33.3% 降到 0%。如果数字很重要,要查看原始文本,并记录每份文本经过了几次规范化。 标点测试 · Whisper 测试
规则变化时,用相同的片段重新评分
我们对两个 ARK-ASR 模型保存的转录结果评分,两个模型都使用同一组 18,760 段 GigaSpeech 音频。使用原始参考文本时,Open ASR 的评分更新使较大模型的词错误率从 6.93% 上升到 15.11%,较小模型从 7.39% 上升到 15.50%。新规则把 <COMMA> 等标点标记计为词。对相同片段使用清理后的参考文本时,保留两位小数,两个模型在新旧规则下的错误率都分别为 6.93% 和 7.39%。 评分对比
评分规则改变后,用相同的片段和参考文本重新计算两个分数。在另一个虚构示例中,更新后的评分程序一直从已保存的文件返回旧结果,直到我们明确要求重新计算。比较结果之前,要确认评分程序确实又运行了一遍。 已保存分数测试
结果接近时,检查单条录音的影响
一条录音可能切分成许多片段。在 GigaSpeech 测试中,我们每次完整去掉一条录音,再用其余片段比较两个模型。使用清理后的参考文本和新规则时,在全部 131 条录音上,较大模型的词错误率低 0.46 个百分点。每次去掉一条录音后,这一差距在 0.43 到 0.48 个百分点之间。用这种检查可以判断一场差距很小的比较是否由单条录音决定。 按录音检查