メインコンテンツに移動

メニュー

研究

文字起こしを受け入れる前にスコアを確認する方法

言語: 日本語

クリップの一覧、採点に使う参照テキスト、納品された文字起こし、採点設定を用意してもらいます。単語誤り率は、参照テキスト100語あたりの置換、欠落、挿入の数を表します。値が低くても、マイナス記号の欠落や単語が録音内の誤った区間に入るなど、作業に影響する誤りが隠れていることがあります。受け入れ前にこうした点を確認します。 単語誤り率の計算方法

単語が録音の正しい区間にあるかを確認する

参照テキストの2つの区間が turn left と then stop で、納品された区間が turn left then と stop だとします。つなげると4語すべてが正しい順番に並ぶため、単語誤り率は0%です。区間ごとに採点すると、then が最初の区間に加わり、次の区間から抜けているため、誤り率は50%になります。区間の境界が重要な作業では、区間ごとに採点します。 区間別の採点例

無音クリップもテストに含める

架空のテストで、2つの発話クリップの単語誤り率はシステムAが0%、システムBが12.5%でした。無音と確認済みのクリップを1つ追加すると、Aはそこで2語を出力し、誤り率は25%に上がりました。Bは12.5%のままでした。納品物に無音区間が含まれる場合は、無音を確認したクリップのうち、不要なテキストが出力された件数を報告します。参照テキストが欠けているクリップは無音として数えないよう、別に記録します。 無音クリップの例

数値は元のテキストで読む

あるテストの採点ルールでは、offset -5 meters と offset 5 meters が同じものとして扱われました。offset 1.5 meters と offset 15 meters も同様でした。別のWhisperのテストでは、1回目の正規化で「negative one point five」のマイナス記号が残りました。2回目に記号が消え、符号なしの同じ回答に対する単語誤り率は33.3%から0%になりました。数値が重要な場合は、元のテキストで値を確認し、各テキストを何回正規化したかを記録します。 句読点のテスト · Whisperのテスト

ルールが変わったら同じクリップを採点し直す

2つのARK-ASRモデルの保存済み文字起こしを、同じ18,760件のGigaSpeechクリップで採点しました。元の参照テキストを使うと、Open ASRの採点更新により、大きいモデルの単語誤り率は6.93%から15.11%に、小さいモデルは7.39%から15.50%に上がりました。新しいルールでは <COMMA> などの句読点マーカーが単語として数えられました。同じクリップに整形済みの参照テキストを使うと、小数点以下2桁に丸めた値は、新旧どちらのルールでもそれぞれ6.93%と7.39%でした。 スコアの比較

採点ルールが変わったら、同じクリップと参照テキストで両方のスコアを計算し直します。別の架空の例では、更新した採点プログラムに明示的に再計算を指示するまで、保存されたファイルの以前の結果が返されました。結果を比べる前に、再計算が実際に行われたかを確認します。 保存済みスコアのテスト

録音1件が僅差の比較にどれほど影響するかを確かめる

1件の録音から多数のクリップが切り出されることがあります。GigaSpeechのテストでは、録音を1件ずつ丸ごと除外し、残りのクリップで両モデルを比較しました。整形済みの参照テキストと新しいルールでは、131件すべての録音を含めた場合、大きいモデルの誤り率が0.46パーセントポイント低くなりました。録音を1件除くと、その差は0.43〜0.48パーセントポイントでした。この確認によって、僅差の比較が1件の録音で決まるかどうかが分かります。 録音単位のテスト