Aller au contenu principal

Menu

Recherche

Comment vérifier le score d’une transcription avant de valider une livraison

Langue: Français

Demandez la liste des extraits, le texte de référence, les transcriptions livrées et les paramètres d’évaluation. Le taux d’erreur sur les mots compte les mots remplacés, omis ou ajoutés pour 100 mots de référence. Un faible taux peut masquer des erreurs importantes pour votre travail, comme la disparition d’un signe moins ou un mot placé au mauvais endroit dans un enregistrement. Vérifiez ces détails avant de valider la livraison. Calcul du taux d’erreur sur les mots

Vérifiez que les mots figurent dans le bon passage de l’enregistrement

Supposons que la référence contienne deux segments, turn left et then stop. La livraison contient turn left then et stop. En réunissant les segments, le taux d’erreur est de 0 % car les quatre mots restent dans le bon ordre. En les évaluant séparément, il est de 50 % car then a été ajouté au premier segment et manque dans le second. Évaluez chaque segment séparément si ses limites comptent pour le travail. Exemple par segment

Gardez les extraits silencieux dans le test

Dans un test fictif sur deux extraits parlés, le système A avait un taux d’erreur de 0 % et le système B de 12,5 %. Nous avons ajouté un extrait dont le silence avait été vérifié. A y a produit deux mots et son taux est passé à 25 %. Celui de B est resté à 12,5 %. Si la livraison comprend des passages silencieux, indiquez combien d’extraits dont le silence est vérifié contiennent du texte indésirable. Signalez séparément les extraits sans référence pour éviter de les compter comme des silences. Exemple d’extrait silencieux

Lisez les nombres dans le texte original

Dans un test, les règles d’évaluation ont considéré offset -5 meters et offset 5 meters comme identiques. Il en a été de même pour offset 1.5 meters et offset 15 meters. Dans un autre test avec Whisper, la première normalisation a conservé le signe moins de « negative one point five ». Le signe a disparu au deuxième passage. Avec la même réponse sans signe, le taux d’erreur est passé de 33,3 % à 0 %. Lorsque les nombres comptent, lisez-les dans les textes originaux et notez le nombre de normalisations appliquées à chaque texte. Test de ponctuation · Test avec Whisper

Recalculez les scores sur les mêmes extraits quand les règles changent

Nous avons évalué les transcriptions enregistrées de deux modèles ARK-ASR sur les mêmes 18 760 extraits de GigaSpeech. Avec les références d’origine, une mise à jour d’Open ASR a fait passer le taux d’erreur du plus grand modèle de 6,93 % à 15,11 % et celui du plus petit de 7,39 % à 15,50 %. Les nouvelles règles comptaient les marqueurs de ponctuation comme <COMMA> parmi les mots. Avec les références nettoyées pour les mêmes extraits, les deux modèles ont obtenu respectivement 6,93 % et 7,39 %, après arrondi à deux décimales, avec les deux versions des règles. Comparaison des scores

Lorsque les règles changent, recalculez les deux scores sur les mêmes extraits et références. Dans un autre exemple fictif, le programme d’évaluation mis à jour a relu l’ancien résultat dans un fichier enregistré jusqu’à ce que nous demandions explicitement un nouveau calcul. Vérifiez que le calcul a bien été relancé avant de comparer les résultats. Test du résultat enregistré

Mesurez l’influence d’un enregistrement lorsque les résultats sont proches

Certains enregistrements fournissent de nombreux extraits. Dans le test sur GigaSpeech, nous avons retiré un enregistrement complet à chaque fois et comparé les modèles sur les extraits restants. Avec les références nettoyées et les règles mises à jour, le plus grand modèle devançait l’autre de 0,46 point de pourcentage sur l’ensemble des 131 enregistrements. Son avance allait de 0,43 à 0,48 point quand nous retirions un enregistrement. Ce contrôle permet de savoir si un seul enregistrement détermine le résultat d’une comparaison serrée. Test par enregistrement