# Onderbouwing voor het controleren van transcriptiescores

De onderstaande voorbeelden gebruiken verzonnen tekst of samengevoegde resultaten uit openbare benchmarkinzendingen. Het woordfoutpercentage (WER) is het totale aantal invoegingen, weglatingen en vervangingen gedeeld door het aantal woorden in de referentietekst. Vermenigvuldig de uitkomst met 100 om deze als percentage uit te drukken. [Scoring en uitlijning met JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Voorbeeld met segmenten

De referentiesegmenten zijn `turn left` en `then stop`. De geleverde segmenten zijn `turn left then` en `stop`. Bij afzonderlijke beoordeling van de segmenten telt het scoringssysteem een invoeging en een weglating voor `then`. Dat zijn 2 fouten op 4 referentiewoorden, oftewel 50%. Als je de segmenten samenvoegt, krijg je aan beide kanten `turn left then stop`, met 0 fouten op 4 woorden. Deze vergelijking beoordeelt de tekst in de aangeleverde segmenten. Om te controleren wanneer de woorden in de opname voorkomen, moet je de audio en tijdstempels controleren. [Uitlijning met JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Voorbeeld met een stil fragment

Dit zijn samengevoegde percentages voor verzonnen fragmenten. De 2 spraakfragmenten bevatten samen 8 referentiewoorden. Van het derde fragment is bevestigd dat het stil is; het bevat 0 referentiewoorden.

| Beoordeelde fragmenten | Woordfouten van systeem A | Woordfouten van systeem B | Referentiewoorden | WER van A | WER van B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 spraakfragmenten | 0 | 1 | 8 | 0% | 12.5% |
| 2 spraakfragmenten en 1 stil fragment | 2 | 1 | 8 | 25% | 12.5% |

A produceerde 2 woorden bij het stille fragment. B liet het leeg. Rapporteer bevestigde stille fragmenten met ongewenste woorden apart van het samengevoegde woordfoutpercentage. Geef fragmenten waarvan de referentietekst ontbreekt een eigen status. [Regels voor lege referenties in JiWER 4](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Interpunctietest

JiWER 4.0.0 is uitgevoerd op 2 verzonnen tekstparen, waarbij aan beide kanten de optionele verwijdering van interpunctie is toegepast. `offset -5 meters` en `offset 5 meters` worden daardoor identiek. Dat geldt ook voor `offset 1.5 meters` en `offset 15 meters`. Beide vergelijkingen leveren na de bewerking een WER van 0% op. In de oorspronkelijke tekst verschillen de getallen bij beide paren. [Interpunctie verwijderen met JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper-test

In een afzonderlijk fictief voorbeeld zet de vastgelegde Engelse normalisatiefunctie van Whisper `offset negative one point five meters` om in `offset -one.5 meters`. De vaste voorspelling na 1 opschoning is `offset one.5 meters`. De teksten verschillen met 1 woord op 3, oftewel een WER van 33.3%. Een tweede bewerking zet de opgeslagen referentie om in `offset one.5 meters`. Vergeleken met dezelfde voorspelling komt het aantal fouten uit op 0. Deze herhaling test de scoring van tekst. [Whisper-release](https://github.com/openai/whisper/releases/tag/v20250625) · [Vastgelegde Engelse normalisatiefunctie](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Scorevergelijking

Koppel de opgeslagen uitvoer van de 2 modellen aan de opgeschoonde GigaSpeech-dataset op basis van fragment-ID. De inzendingen van beide modellen bevatten dezelfde fragment-ID’s en hebben voor elk fragment dezelfde oorspronkelijke referentietekst. De doorsnede met de opgeschoonde dataset bevat **18,760 fragmenten**. Beoordeel dezelfde set met de oorspronkelijke en de opgeschoonde referentieteksten. Houd de opgeslagen voorspellingstekst van elk model gelijk bij beide scoringsversies. Elke revisie gebruikt zijn eigen Engelse normalisatie. De uitlijning gebeurt met Kaldialign 0.12.0, waarbij het samenvoegen van woordcombinaties is ingeschakeld. Tel de fouten en referentiewoorden van de gekoppelde fragmenten op voordat je deelt.

De scoringsrevisies zijn `edd68424736537b6d0191be325ae3605c33de284` en `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Eerdere scoringsversie](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Bijgewerkte scoringsversie](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referentieteksten | Model | Eerder: fouten / woorden | Eerdere WER | Bijgewerkt: fouten / woorden | Bijgewerkte WER |
| --- | --- | ---: | ---: | ---: | ---: |
| Oorspronkelijk | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Oorspronkelijk | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Opgeschoond | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Opgeschoond | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Als in het oorspronkelijke GigaSpeech-manifest van 3B de 4 gedocumenteerde typen interpunctiemarkeringen van GigaSpeech vóór de nieuwere normalisatie worden verwijderd, levert dat voor alle 19,898 rijen weer de eerdere referentie- en voorspellingstokens op. De percentages voor de opgeschoonde referentieteksten bij 0.6B ronden op hetzelfde percentage af, met 5 fouten minder volgens de bijgewerkte regels. Dit zijn herhaalde beoordelingen van opgeslagen inzendingen van 1 aanbieder. Ze laten het effect op deze uitvoer zien bij de vastgelegde scoringsinstellingen. [Voorbewerking van GigaSpeech-tekst](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Vastgelegde inzending voor 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Vastgelegde inzending voor 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Vastgelegde opgeschoonde referentieteksten](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test met opgeslagen score

De fictieve referentietekst is `we [need to leave] now`. De voorspelling is `we now`. De eerdere scoringsversie verwijdert de 3 woorden tussen vierkante haken en geeft het paar een WER van 0%. Als het scorebestand behouden blijft, geeft de bijgewerkte scoringsversie 0% terug en lijnt die 0 paren uit. Als herberekening wordt aangevraagd, lijnt die 1 paar uit, behoudt de woorden tussen vierkante haken als referentiewoorden en geeft 3 weglatingen op 5 woorden terug, oftewel 60%. De samengevoegde wijziging beschrijft de optie voor herberekening. [Wijziging in de scoring van Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test per opname

Groepeer de 18,760 gekoppelde fragmenten op basis van de oorspronkelijke opname die in de GigaSpeech-fragment-ID is vastgelegd. Laat voor elk van de 131 groepen alle fragmenten van die groep bij beide systemen weg en bereken het verschil opnieuw met de resterende referentiewoorden. Het verschil is de WER van 0.6B min de WER van 3B. Met opgeschoonde referentieteksten en de nieuwere scoringsversie is het verschil voor de volledige set `100 × (29,336 − 27,506) / 397,143`, oftewel **0.460791 procentpunt**. De 131 resultaten waarbij telkens 1 groep is weggelaten, lopen uiteen van **0.430797 tot 0.478149 procentpunt**. Bij elke weglating blijft de volgorde gelijk. Dit controleert hoe gevoelig het resultaat van de gekoppelde set is voor telkens 1 opname. [Opname- en segment-ID’s van GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
