# Dokumentation for tjek af transskriptionsscorer

Eksemplerne nedenfor bruger opdigtet tekst eller samlede resultater fra indsendelser til offentlige benchmarks. Ordfejlraten (WER) beregnes ved at dividere det samlede antal indsættelser, udeladelser og erstatninger med antallet af ord i referenceteksten. Gang resultatet med 100 for at udtrykke det i procent. [Scoring og alignment med JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Eksempel med segmenter

Referencesegmenterne er `turn left` og `then stop`. De leverede segmenter er `turn left then` og `stop`. Når segmenterne scores hver for sig, tæller scoringsværktøjet en indsættelse og en udeladelse for `then`. Det giver to fejl på fire referenceord eller 50%. Når segmenterne sættes sammen, står der `turn left then stop` på begge sider, med nul fejl på fire ord. Her sammenlignes teksten i de leverede segmenter. For at kontrollere, hvornår ordene forekommer i optagelsen, skal man tjekke lyden og tidsstemplerne. [Alignment med JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Eksempel med stille klip

Dette er samlede fejlrater for opdigtede klip. De to klip med tale indeholder tilsammen otte referenceord. Det tredje klip er verificeret som stille og bidrager med nul referenceord.

| Scorede klip | Ordfejl for system A | Ordfejl for system B | Referenceord | WER for A | WER for B |
| --- | ---: | ---: | ---: | ---: | ---: |
| To klip med tale | 0 | 1 | 8 | 0% | 12.5% |
| To klip med tale og ét stille klip | 2 | 1 | 8 | 25% | 12.5% |

A producerede to ord på det stille klip. B efterlod det tomt. Rapportér verificerede stille klip med uønskede ord adskilt fra den samlede ordfejlrate. Giv klip med manglende referencetekst deres egen status. [Regler for tomme referencer i JiWER 4](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test af tegnsætning

JiWER 4.0.0 blev kørt på to opdigtede tekstpar, hvor den valgfrie fjernelse af tegnsætning blev anvendt på begge sider. `offset -5 meters` og `offset 5 meters` bliver identiske. Det samme gør `offset 1.5 meters` og `offset 15 meters`. Begge sammenligninger giver en WER på 0% efter ændringen. De oprindelige talfelter er forskellige i begge par. [Fjernelse af tegnsætning med JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Test af Whisper

I et separat, opdigtet eksempel omdanner Whispers fastlåste engelske normaliseringsfunktion `offset negative one point five meters` til `offset -one.5 meters`. Den uændrede forudsigelse efter én rensning er `offset one.5 meters`. Teksterne adskiller sig med ét ord ud af tre, hvilket giver en WER på 33.3%. En anden gennemkørsel omdanner den gemte referencetekst til `offset one.5 meters`. Sammenlignet med den samme forudsigelse bliver antallet af fejl nul. Denne gentagne kørsel tester scoring af tekst. [Whisper-udgivelse](https://github.com/openai/whisper/releases/tag/v20250625) · [Fastlåst engelsk normaliseringsfunktion](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Sammenligning af scorer

Match de to modellers gemte output med det rensede GigaSpeech-datasæt ved hjælp af klip-id. De to modelindsendelser indeholder de samme klip-id'er og har samme oprindelige referencetekst for hvert klip. Fællesmængden med det rensede datasæt indeholder **18,760 klip**. Score det samme sæt med de oprindelige og de rensede referencetekster. Hold hver models gemte forudsigelsestekst uændret på tværs af scoringsværktøjerne. Hver revision indeholder sin egen engelske normaliseringsfunktion. Til alignment bruges Kaldialign 0.12.0 med sammenlægning af sammensatte ord slået til. Læg fejl og referenceord sammen på tværs af de matchede klip, før der divideres.

Revisionerne af scoringsværktøjet er `edd68424736537b6d0191be325ae3605c33de284` og `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Tidligere scoringsværktøj](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Opdateret scoringsværktøj](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referencetekster | Model | Fejl / ord med tidligere værktøj | WER med tidligere værktøj | Fejl / ord med opdateret værktøj | WER med opdateret værktøj |
| --- | --- | ---: | ---: | ---: | ---: |
| Oprindelig | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Oprindelig | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Renset | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Renset | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

I det oprindelige GigaSpeech-manifest for 3B genskabes de tidligere tokens i referencetekster og forudsigelser på alle 19,898 rækker, når GigaSpeechs fire dokumenterede typer tegnsætningsmarkører fjernes før den nyere normalisering. De rensede fejlrater for 0.6B afrundes til samme procenttal, med fem færre fejl efter de opdaterede regler. Der er tale om gentagne kørsler af gemte indsendelser fra én udgiver. De viser effekten på disse output med de fastlåste scoringsindstillinger. [Forbehandling af GigaSpeech-tekst](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Fastlåst indsendelse for 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Fastlåst indsendelse for 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Fastlåste, rensede referencetekster](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test af gemt score

Den opdigtede referencetekst er `we [need to leave] now`. Forudsigelsen er `we now`. Det tidligere scoringsværktøj fjerner de tre ord i kantede parenteser og scorer parret til en WER på 0%. Når scorefilen bevares, returnerer det opdaterede scoringsværktøj 0% og foretager alignment af nul par. Når der anmodes om en ny beregning, foretager det alignment af ét par, beholder ordene i kantede parenteser som referenceord og giver tre udeladelser på fem ord eller 60%. Den flettede ændring dokumenterer muligheden for ny beregning. [Ændring af scoring i Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test af optagelser

Gruppér de 18,760 matchede klip efter den oprindelige optagelse, som er angivet i GigaSpeech-klip-id'et. For hver af de 131 grupper udelades alle gruppens klip fra begge systemer, og forskellen beregnes igen ved hjælp af de resterende referenceord. Forskellen er WER for 0.6B minus WER for 3B. Med rensede referencetekster og det nyere scoringsværktøj er forskellen for hele sættet `100 × (29,336 − 27,506) / 397,143` eller **0.460791 procentpoint**. Resultaterne af de 131 udeladelser spænder fra **0.430797 til 0.478149 procentpoint**. Rækkefølgen er den samme ved alle udeladelser. Dette tester, hvor følsomt resultatet er over for én optagelse ad gangen i det matchede sæt. [Identifikatorer for optagelser og segmenter i GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
