# 验收转录交付前，如何核对评分

先索取片段清单、用于评分的参考文本、交付的转录文本和评分设置。词错误率以每 100 个参考词为基准，统计替换、遗漏和额外插入的词数。即使错误率很低，也可能掩盖影响任务的错误，比如负号丢失，或某个词出现在录音的错误位置。验收前要核对这些细节。 [词错误率的计算方法](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## 核对词语是否出现在录音的正确位置

假设参考文本分为两段，分别是 `turn left` 和 `then stop`。交付文本却分成 `turn left then` 和 `stop`。把两段接起来后，四个词的顺序都正确，词错误率为 0%。分段评分时，第一段多了 `then`，第二段少了这个词，词错误率为 50%。如果分段边界对任务很重要，就逐段评分。 [分段示例](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#segment-example)

## 在测试中保留静音片段

在一次虚构测试中，两个语音片段上的词错误率分别为系统 A 的 0% 和系统 B 的 12.5%。我们加入一个已确认静音的片段后，A 在其中输出了两个词，错误率升到 25%。B 仍为 12.5%。如果交付内容包含静音，应报告有多少已确认静音的片段出现了不应有的文字。把缺少参考文本的片段单独标记，避免将其计作静音。 [静音片段示例](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## 查看原始文本中的数字

在一次测试中，评分规则把 `offset -5 meters` 和 `offset 5 meters` 视为相同。`offset 1.5 meters` 和 `offset 15 meters` 也是如此。在另一项 Whisper 测试中，第一次规范化保留了“negative one point five”的负号，第二次却去掉了负号。对同一个无符号回答，词错误率从 33.3% 降到 0%。如果数字很重要，要查看原始文本，并记录每份文本经过了几次规范化。 [标点测试](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Whisper 测试](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#whisper-test)

## 规则变化时，用相同的片段重新评分

我们对两个 ARK-ASR 模型保存的转录结果评分，两个模型都使用同一组 18,760 段 GigaSpeech 音频。使用原始参考文本时，Open ASR 的评分更新使较大模型的词错误率从 6.93% 上升到 15.11%，较小模型从 7.39% 上升到 15.50%。新规则把 `<COMMA>` 等标点标记计为词。对相同片段使用清理后的参考文本时，保留两位小数，两个模型在新旧规则下的错误率都分别为 6.93% 和 7.39%。 [评分对比](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#score-comparison)

评分规则改变后，用相同的片段和参考文本重新计算两个分数。在另一个虚构示例中，更新后的评分程序一直从已保存的文件返回旧结果，直到我们明确要求重新计算。比较结果之前，要确认评分程序确实又运行了一遍。 [已保存分数测试](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#saved-score-test)

## 结果接近时，检查单条录音的影响

一条录音可能切分成许多片段。在 GigaSpeech 测试中，我们每次完整去掉一条录音，再用其余片段比较两个模型。使用清理后的参考文本和新规则时，在全部 131 条录音上，较大模型的词错误率低 0.46 个百分点。每次去掉一条录音后，这一差距在 0.43 到 0.48 个百分点之间。用这种检查可以判断一场差距很小的比较是否由单条录音决定。 [按录音检查](https://sapien1.com/zh-Hans/research/transcript-score-acceptance/evidence.html#recording-test)
