Lire l’article · Télécharger les éléments de recherche (Markdown)
Éléments de recherche pour vérifier le score d’une transcription
Les exemples ci-dessous utilisent des textes fictifs ou des résultats agrégés issus de soumissions à des tests de référence publics. Le taux d’erreur sur les mots (WER) est obtenu en divisant le nombre total d’insertions, de suppressions et de substitutions par le nombre de mots de référence. Multipliez le résultat par 100 pour l’exprimer en pourcentage. Calcul du score et alignement avec JiWER
Exemple de segments
Les segments de référence sont turn left et then stop. Les segments livrés sont turn left then et stop. Lorsque les segments sont évalués séparément, l’outil de calcul compte une insertion et une suppression pour then. Cela représente deux erreurs sur quatre mots de référence, soit 50%. Lorsque les segments sont réunis, on obtient turn left then stop des deux côtés, soit zéro erreur sur quatre mots. Cette comparaison porte sur le texte des segments fournis. Pour vérifier à quel moment les mots sont prononcés dans l’enregistrement, il faut examiner l’audio et les horodatages. Alignement avec JiWER
Exemple d’extrait silencieux
Il s’agit de taux calculés sur l’ensemble d’extraits fictifs. Les deux extraits contenant de la parole fournissent huit mots de référence. Le troisième extrait a été vérifié comme silencieux et ne contient aucun mot de référence.
| Extraits évalués | Erreurs sur les mots du système A | Erreurs sur les mots du système B | Mots de référence | WER de A | WER de B |
|---|---|---|---|---|---|
| Deux extraits contenant de la parole | 0 | 1 | 8 | 0% | 12.5% |
| Deux extraits contenant de la parole et un extrait silencieux | 2 | 1 | 8 | 25% | 12.5% |
A a produit deux mots sur l’extrait silencieux. B l’a laissé vide. Signalez les extraits vérifiés comme silencieux qui contiennent des mots indésirables séparément du taux d’erreur sur les mots calculé sur l’ensemble des extraits. Attribuez un statut distinct aux extraits dont le texte de référence est manquant. Règles de JiWER 4 pour les références vides
Test de ponctuation
JiWER 4.0.0 a été exécuté sur deux paires de textes fictifs, avec suppression facultative de la ponctuation appliquée aux deux côtés. offset -5 meters et offset 5 meters deviennent identiques. Il en va de même pour offset 1.5 meters et offset 15 meters. Après cette transformation, les deux comparaisons donnent un WER de 0%. Les champs numériques d’origine diffèrent dans les deux paires. Suppression de la ponctuation avec JiWER
Test avec Whisper
Dans un autre exemple fictif, la version figée du normaliseur anglais de Whisper transforme offset negative one point five meters en offset -one.5 meters. La prédiction, qui reste inchangée après un premier nettoyage, est offset one.5 meters. Les textes diffèrent d’un mot sur trois, soit un WER de 33.3%. Un second passage transforme la référence enregistrée en offset one.5 meters. Par rapport à la même prédiction, le nombre d’erreurs devient nul. Cette réexécution teste le calcul du score sur le texte. Version de Whisper · Version figée du normaliseur anglais
Comparaison des scores
Faites correspondre les sorties enregistrées des deux modèles et la partition nettoyée de GigaSpeech à l’aide de l’identifiant de chaque extrait. Les deux soumissions des modèles contiennent les mêmes identifiants d’extraits et concordent sur la référence d’origine de chaque extrait. L’intersection avec la partition nettoyée contient 18,760 extraits. Calculez les scores de ce même ensemble avec les références d’origine puis nettoyées. Conservez le texte de prédiction enregistré de chaque modèle inchangé entre les outils de calcul. Chaque révision fournit sa propre normalisation de l’anglais. L’alignement utilise Kaldialign 0.12.0, avec la fusion des mots composés activée. Additionnez les erreurs et les mots de référence de tous les extraits correspondants avant d’effectuer la division.
Les révisions de l’outil de calcul sont edd68424736537b6d0191be325ae3605c33de284 et f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Ancienne version de l’outil de calcul · Version mise à jour de l’outil de calcul
| Références | Modèle | Anciennes erreurs / mots | Ancien WER | Erreurs / mots après mise à jour | WER après mise à jour |
|---|---|---|---|---|---|
| D’origine | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| D’origine | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Nettoyées | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Nettoyées | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
Sur le manifeste GigaSpeech 3B d’origine, la suppression des quatre types de marqueurs de ponctuation documentés par GigaSpeech avant l’application de la nouvelle normalisation permet de retrouver les unités de référence et de prédiction obtenues avec l’ancienne méthode sur les 19,898 lignes. Les taux de 0.6B avec les références nettoyées s’arrondissent au même pourcentage, avec cinq erreurs de moins selon les règles mises à jour. Il s’agit de réexécutions de soumissions enregistrées provenant d’un même éditeur. Elles établissent l’effet de ces paramètres de calcul figés sur ces sorties. Prétraitement du texte GigaSpeech
Soumission 3B figée · Soumission 0.6B figée · Références nettoyées figées
Test du score enregistré
La référence fictive est we [need to leave] now. La prédiction est we now. L’ancienne version de l’outil de calcul supprime les trois mots entre crochets et attribue à la paire un WER de 0%. Lorsque le fichier de score est conservé, la version mise à jour renvoie 0% et n’aligne aucune paire. Lorsqu’un recalcul est demandé, elle aligne une paire, conserve les mots entre crochets comme mots de référence et renvoie trois suppressions sur cinq mots, soit 60%. La modification intégrée documente l’option de recalcul. Modification du calcul des scores Open ASR
Test par enregistrement
Regroupez les 18,760 extraits correspondants selon l’enregistrement d’origine indiqué dans leur identifiant GigaSpeech. Pour chacun des 131 groupes, excluez tous ses extraits des deux systèmes et recalculez l’écart à partir des mots de référence restants. L’écart correspond au WER de 0.6B moins celui de 3B. Avec les références nettoyées et la nouvelle version de l’outil de calcul, l’écart sur l’ensemble complet est de 100 × (29,336 − 27,506) / 397,143, soit 0.460791 point de pourcentage. Les résultats des 131 exclusions vont de 0.430797 à 0.478149 point de pourcentage. L’ordre des modèles reste le même pour chaque exclusion. Ce test vérifie la sensibilité du résultat à chaque enregistrement de l’ensemble apparié, pris isolément. Identifiants des enregistrements et des segments GigaSpeech