# 文字起こしを受け入れる前にスコアを確認する方法

クリップの一覧、採点に使う参照テキスト、納品された文字起こし、採点設定を用意してもらいます。単語誤り率は、参照テキスト100語あたりの置換、欠落、挿入の数を表します。値が低くても、マイナス記号の欠落や単語が録音内の誤った区間に入るなど、作業に影響する誤りが隠れていることがあります。受け入れ前にこうした点を確認します。 [単語誤り率の計算方法](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## 単語が録音の正しい区間にあるかを確認する

参照テキストの2つの区間が `turn left` と `then stop` で、納品された区間が `turn left then` と `stop` だとします。つなげると4語すべてが正しい順番に並ぶため、単語誤り率は0%です。区間ごとに採点すると、`then` が最初の区間に加わり、次の区間から抜けているため、誤り率は50%になります。区間の境界が重要な作業では、区間ごとに採点します。 [区間別の採点例](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#segment-example)

## 無音クリップもテストに含める

架空のテストで、2つの発話クリップの単語誤り率はシステムAが0%、システムBが12.5%でした。無音と確認済みのクリップを1つ追加すると、Aはそこで2語を出力し、誤り率は25%に上がりました。Bは12.5%のままでした。納品物に無音区間が含まれる場合は、無音を確認したクリップのうち、不要なテキストが出力された件数を報告します。参照テキストが欠けているクリップは無音として数えないよう、別に記録します。 [無音クリップの例](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## 数値は元のテキストで読む

あるテストの採点ルールでは、`offset -5 meters` と `offset 5 meters` が同じものとして扱われました。`offset 1.5 meters` と `offset 15 meters` も同様でした。別のWhisperのテストでは、1回目の正規化で「negative one point five」のマイナス記号が残りました。2回目に記号が消え、符号なしの同じ回答に対する単語誤り率は33.3%から0%になりました。数値が重要な場合は、元のテキストで値を確認し、各テキストを何回正規化したかを記録します。 [句読点のテスト](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Whisperのテスト](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#whisper-test)

## ルールが変わったら同じクリップを採点し直す

2つのARK-ASRモデルの保存済み文字起こしを、同じ18,760件のGigaSpeechクリップで採点しました。元の参照テキストを使うと、Open ASRの採点更新により、大きいモデルの単語誤り率は6.93%から15.11%に、小さいモデルは7.39%から15.50%に上がりました。新しいルールでは `<COMMA>` などの句読点マーカーが単語として数えられました。同じクリップに整形済みの参照テキストを使うと、小数点以下2桁に丸めた値は、新旧どちらのルールでもそれぞれ6.93%と7.39%でした。 [スコアの比較](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#score-comparison)

採点ルールが変わったら、同じクリップと参照テキストで両方のスコアを計算し直します。別の架空の例では、更新した採点プログラムに明示的に再計算を指示するまで、保存されたファイルの以前の結果が返されました。結果を比べる前に、再計算が実際に行われたかを確認します。 [保存済みスコアのテスト](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#saved-score-test)

## 録音1件が僅差の比較にどれほど影響するかを確かめる

1件の録音から多数のクリップが切り出されることがあります。GigaSpeechのテストでは、録音を1件ずつ丸ごと除外し、残りのクリップで両モデルを比較しました。整形済みの参照テキストと新しいルールでは、131件すべての録音を含めた場合、大きいモデルの誤り率が0.46パーセントポイント低くなりました。録音を1件除くと、その差は0.43〜0.48パーセントポイントでした。この確認によって、僅差の比較が1件の録音で決まるかどうかが分かります。 [録音単位のテスト](https://sapien1.com/ja/research/transcript-score-acceptance/evidence.html#recording-test)
