文字起こしのスコア確認に関する根拠
以下の例には、架空のテキストまたは公開ベンチマークへの提出結果の集計値を使用しています。単語誤り率(WER)は、挿入、削除、置換の合計数を正解テキストの単語数で割ったものです。結果に100を掛けると、パーセントで表せます。JiWERの採点とアラインメント
区間の例
正解テキストの区間はturn leftとthen stopです。納品された区間はturn left thenとstopです。区間ごとに採点すると、thenについて挿入と削除がそれぞれ1件ずつ数えられます。正解テキストの単語4語に対して誤りが2件となり、WERは50%です。区間を結合すると、両方ともturn left then stopとなり、4語に対する誤りは0件です。この例では、提供された区間内のテキストを比較しています。録音のどの時点で単語が発話されているかを確かめるには、音声とタイムスタンプを確認する必要があります。JiWERのアラインメント
無音クリップの例
架空のクリップをまとめて集計した誤り率です。音声クリップ2件の正解テキストには計8語が含まれます。3件目のクリップは無音であることが確認されており、正解テキストの単語数は0語です。
| 採点対象のクリップ | システムAの単語誤り数 | システムBの単語誤り数 | 正解テキストの単語数 | AのWER | BのWER |
|---|---|---|---|---|---|
| 音声クリップ2件 | 0 | 1 | 8 | 0% | 12.5% |
| 音声クリップ2件と無音クリップ1件 | 2 | 1 | 8 | 25% | 12.5% |
Aは無音クリップに対して2語を出力しました。Bは空欄のままにしました。無音と確認されたクリップに不要な単語が出力された場合は、全体を集計した単語誤り率とは別に報告します。正解テキストが欠けているクリップには、別のステータスを付けます。JiWER 4の空の正解テキストに関するルール
句読点のテスト
JiWER 4.0.0を使い、架空のテキスト2組のそれぞれについて、両側のテキストに句読点の除去を適用して採点しました。offset -5 metersとoffset 5 metersは同じテキストになります。offset 1.5 metersとoffset 15 metersも同様です。変換後のWERは、どちらの組も0%です。元の数値部分は、どちらの組でも異なります。JiWERの句読点除去
Whisperのテスト
別の架空の例では、特定のリビジョンに固定したWhisperの英語正規化処理によって、offset negative one point five metersがoffset -one.5 metersに変換されます。1回の正規化後の予測テキストはoffset one.5 metersで、以降は固定します。両テキストは3語中1語が異なり、WERは33.3%です。2回目の処理では、保存された正解テキストがoffset one.5 metersに変換されます。同じ予測テキストと比較すると、誤り数は0件になります。この再実行ではテキストの採点を検証しています。Whisperのリリース · リビジョンを固定した英語正規化処理
スコアの比較
2つのモデルの保存済み出力と、クリーニング済みのGigaSpeechデータ分割をクリップIDで照合します。2つのモデルの提出結果には同じクリップIDが含まれ、各クリップの元の正解テキストも一致しています。クリーニング済みデータ分割との共通部分には、18,760件のクリップが含まれます。同じクリップ集合を、元の正解テキストとクリーニング済みの正解テキストでそれぞれ採点します。各モデルの保存済み予測テキストは、どちらの採点ルールでも固定します。各リビジョンには、それぞれ英語正規化処理が用意されています。アラインメントにはKaldialign 0.12.0を使用し、複合語の結合を有効にします。照合したクリップの誤り数と正解テキストの単語数をそれぞれ合計してから割ります。
採点に使用したリビジョンはedd68424736537b6d0191be325ae3605c33de284とf58d58a3f98eb9d5c2dd284ce85954b3cd801759です。以前の採点ルール · 更新後の採点ルール
| 正解テキスト | モデル | 以前の誤り数 / 単語数 | 以前のWER | 更新後の誤り数 / 単語数 | 更新後のWER |
|---|---|---|---|---|---|
| 元のテキスト | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| 元のテキスト | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| クリーニング済み | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| クリーニング済み | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
元の3BのGigaSpeechマニフェストでは、GigaSpeechの文書に記載された4種類の句読点マーカーを新しい正規化処理の前に除去すると、全19,898行で正解テキストと予測テキストのトークンが以前と同じになります。クリーニング済みの0.6Bの誤り率は丸めると同じパーセンテージになりますが、更新後のルールでは誤りが5件少なくなります。これらは、1つの公開元から提出された保存済みの結果を再実行したものです。リビジョンを固定した採点設定の下で、これらの出力に生じる影響を示しています。GigaSpeechのテキスト前処理
リビジョンを固定した3Bの提出結果 · リビジョンを固定した0.6Bの提出結果 · リビジョンを固定したクリーニング済み正解テキスト
保存済みスコアのテスト
架空の正解テキストはwe [need to leave] now、予測テキストはwe nowです。以前の採点ルールでは角括弧内の3語を除去し、この組のWERを0%と採点します。スコアファイルを保持したまま更新後の採点ルールを実行すると、結果は0%で、アラインメントされる組は0組です。再計算を指定すると、1組がアラインメントされ、角括弧内の単語も正解テキストの単語として扱われます。その結果、5語中3語が削除と判定され、WERは60%になります。マージされた変更には、再計算オプションが記載されています。Open ASRの採点に関する変更
録音ごとのテスト
照合した18,760件のクリップを、GigaSpeechのクリップIDに含まれる元の録音ごとにグループ化します。131グループのそれぞれについて、そのグループのクリップを両システムからすべて除外し、残りの正解テキストの単語を使って差を再計算します。差は0.6BのWERから3BのWERを引いた値です。クリーニング済みの正解テキストと新しい採点ルールを使った場合、全クリップでの差は100 × (29,336 − 27,506) / 397,143、すなわち0.460791パーセントポイントです。131回の除外結果は、0.430797~0.478149パーセントポイントの範囲に収まります。どのグループを除外しても、順位は変わりません。このテストでは、照合したクリップ集合について、録音1件ずつが結果に与える影響を確かめています。GigaSpeechの録音と区間の識別子