# Éléments de recherche pour vérifier le score d’une transcription

Les exemples ci-dessous utilisent des textes fictifs ou des résultats agrégés issus de soumissions à des tests de référence publics. Le taux d’erreur sur les mots (WER) est obtenu en divisant le nombre total d’insertions, de suppressions et de substitutions par le nombre de mots de référence. Multipliez le résultat par 100 pour l’exprimer en pourcentage. [Calcul du score et alignement avec JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Exemple de segments

Les segments de référence sont `turn left` et `then stop`. Les segments livrés sont `turn left then` et `stop`. Lorsque les segments sont évalués séparément, l’outil de calcul compte une insertion et une suppression pour `then`. Cela représente deux erreurs sur quatre mots de référence, soit 50%. Lorsque les segments sont réunis, on obtient `turn left then stop` des deux côtés, soit zéro erreur sur quatre mots. Cette comparaison porte sur le texte des segments fournis. Pour vérifier à quel moment les mots sont prononcés dans l’enregistrement, il faut examiner l’audio et les horodatages. [Alignement avec JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Exemple d’extrait silencieux

Il s’agit de taux calculés sur l’ensemble d’extraits fictifs. Les deux extraits contenant de la parole fournissent huit mots de référence. Le troisième extrait a été vérifié comme silencieux et ne contient aucun mot de référence.

| Extraits évalués | Erreurs sur les mots du système A | Erreurs sur les mots du système B | Mots de référence | WER de A | WER de B |
| --- | ---: | ---: | ---: | ---: | ---: |
| Deux extraits contenant de la parole | 0 | 1 | 8 | 0% | 12.5% |
| Deux extraits contenant de la parole et un extrait silencieux | 2 | 1 | 8 | 25% | 12.5% |

A a produit deux mots sur l’extrait silencieux. B l’a laissé vide. Signalez les extraits vérifiés comme silencieux qui contiennent des mots indésirables séparément du taux d’erreur sur les mots calculé sur l’ensemble des extraits. Attribuez un statut distinct aux extraits dont le texte de référence est manquant. [Règles de JiWER 4 pour les références vides](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test de ponctuation

JiWER 4.0.0 a été exécuté sur deux paires de textes fictifs, avec suppression facultative de la ponctuation appliquée aux deux côtés. `offset -5 meters` et `offset 5 meters` deviennent identiques. Il en va de même pour `offset 1.5 meters` et `offset 15 meters`. Après cette transformation, les deux comparaisons donnent un WER de 0%. Les champs numériques d’origine diffèrent dans les deux paires. [Suppression de la ponctuation avec JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Test avec Whisper

Dans un autre exemple fictif, la version figée du normaliseur anglais de Whisper transforme `offset negative one point five meters` en `offset -one.5 meters`. La prédiction, qui reste inchangée après un premier nettoyage, est `offset one.5 meters`. Les textes diffèrent d’un mot sur trois, soit un WER de 33.3%. Un second passage transforme la référence enregistrée en `offset one.5 meters`. Par rapport à la même prédiction, le nombre d’erreurs devient nul. Cette réexécution teste le calcul du score sur le texte. [Version de Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Version figée du normaliseur anglais](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Comparaison des scores

Faites correspondre les sorties enregistrées des deux modèles et la partition nettoyée de GigaSpeech à l’aide de l’identifiant de chaque extrait. Les deux soumissions des modèles contiennent les mêmes identifiants d’extraits et concordent sur la référence d’origine de chaque extrait. L’intersection avec la partition nettoyée contient **18,760 extraits**. Calculez les scores de ce même ensemble avec les références d’origine puis nettoyées. Conservez le texte de prédiction enregistré de chaque modèle inchangé entre les outils de calcul. Chaque révision fournit sa propre normalisation de l’anglais. L’alignement utilise Kaldialign 0.12.0, avec la fusion des mots composés activée. Additionnez les erreurs et les mots de référence de tous les extraits correspondants avant d’effectuer la division.

Les révisions de l’outil de calcul sont `edd68424736537b6d0191be325ae3605c33de284` et `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Ancienne version de l’outil de calcul](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Version mise à jour de l’outil de calcul](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Références | Modèle | Anciennes erreurs / mots | Ancien WER | Erreurs / mots après mise à jour | WER après mise à jour |
| --- | --- | ---: | ---: | ---: | ---: |
| D’origine | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| D’origine | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Nettoyées | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Nettoyées | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Sur le manifeste GigaSpeech 3B d’origine, la suppression des quatre types de marqueurs de ponctuation documentés par GigaSpeech avant l’application de la nouvelle normalisation permet de retrouver les unités de référence et de prédiction obtenues avec l’ancienne méthode sur les 19,898 lignes. Les taux de 0.6B avec les références nettoyées s’arrondissent au même pourcentage, avec cinq erreurs de moins selon les règles mises à jour. Il s’agit de réexécutions de soumissions enregistrées provenant d’un même éditeur. Elles établissent l’effet de ces paramètres de calcul figés sur ces sorties. [Prétraitement du texte GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Soumission 3B figée](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Soumission 0.6B figée](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Références nettoyées figées](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test du score enregistré

La référence fictive est `we [need to leave] now`. La prédiction est `we now`. L’ancienne version de l’outil de calcul supprime les trois mots entre crochets et attribue à la paire un WER de 0%. Lorsque le fichier de score est conservé, la version mise à jour renvoie 0% et n’aligne aucune paire. Lorsqu’un recalcul est demandé, elle aligne une paire, conserve les mots entre crochets comme mots de référence et renvoie trois suppressions sur cinq mots, soit 60%. La modification intégrée documente l’option de recalcul. [Modification du calcul des scores Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test par enregistrement

Regroupez les 18,760 extraits correspondants selon l’enregistrement d’origine indiqué dans leur identifiant GigaSpeech. Pour chacun des 131 groupes, excluez tous ses extraits des deux systèmes et recalculez l’écart à partir des mots de référence restants. L’écart correspond au WER de 0.6B moins celui de 3B. Avec les références nettoyées et la nouvelle version de l’outil de calcul, l’écart sur l’ensemble complet est de `100 × (29,336 − 27,506) / 397,143`, soit **0.460791 point de pourcentage**. Les résultats des 131 exclusions vont de **0.430797 à 0.478149 point de pourcentage**. L’ordre des modèles reste le même pour chaque exclusion. Ce test vérifie la sensibilité du résultat à chaque enregistrement de l’ensemble apparié, pris isolément. [Identifiants des enregistrements et des segments GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
