# Grunnlag for å sjekke poengsummen for transkripsjoner

Eksemplene nedenfor bruker oppdiktet tekst eller samlede resultater fra innsendte resultater til offentlige ytelsestester. Ordfeilraten (WER) beregnes ved å dele det samlede antallet innsettinger, utelatelser og erstatninger på antallet ord i referanseteksten. Multipliser resultatet med 100 for å uttrykke det i prosent. [Poengberegning og justering med JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Eksempel med segmenter

Referansesegmentene er `turn left` og `then stop`. De leverte segmentene er `turn left then` og `stop`. Når segmentene vurderes hver for seg, teller vurderingsverktøyet én innsetting og én utelatelse for `then`. Det er to feil over fire ord i referanseteksten, eller 50%. Når segmentene settes sammen, blir teksten `turn left then stop` på begge sider, med null feil over fire ord. Dette sammenligner teksten i de oppgitte segmentene. For å kontrollere når ordene forekommer i opptaket, må du sjekke lyden og tidsstemplene. [Justering med JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Eksempel med stille klipp

Dette er samlede rater for oppdiktede klipp. De to klippene med tale inneholder til sammen åtte ord i referanseteksten. Det tredje klippet er bekreftet stille og bidrar med null ord i referanseteksten.

| Vurderte klipp | Ordfeil for system A | Ordfeil for system B | Ord i referanseteksten | WER for A | WER for B |
| --- | ---: | ---: | ---: | ---: | ---: |
| To klipp med tale | 0 | 1 | 8 | 0% | 12.5% |
| To klipp med tale og ett stille klipp | 2 | 1 | 8 | 25% | 12.5% |

A produserte to ord i det stille klippet. B lot det stå tomt. Rapporter bekreftede stille klipp med uønskede ord separat fra den samlede ordfeilraten. Gi klipp med manglende referansetekst en egen status. [Regler for tomme referansetekster i JiWER 4](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test av tegnsetting

JiWER 4.0.0 ble kjørt på to oppdiktede tekstpar med valgfri fjerning av tegnsetting på begge sider. `offset -5 meters` og `offset 5 meters` blir identiske. Det samme gjelder `offset 1.5 meters` og `offset 15 meters`. Begge sammenligningene gir 0% WER etter endringen. De opprinnelige tallfeltene er forskjellige i begge parene. [Fjerning av tegnsetting med JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper-test

I et separat, oppdiktet eksempel endrer Whispers fastlåste engelske normalisering `offset negative one point five meters` til `offset -one.5 meters`. Den fastsatte prediksjonen etter én rensingsrunde er `offset one.5 meters`. Tekstene skiller seg med ett av tre ord, eller 33.3% WER. En andre runde endrer den lagrede referanseteksten til `offset one.5 meters`. Sammenlignet med den samme prediksjonen blir antallet feil null. Denne nykjøringen tester poengberegningen for tekst. [Whisper-utgivelse](https://github.com/openai/whisper/releases/tag/v20250625) · [Fastlåst engelsk normalisering](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Sammenligning av poengsummer

Koble de to modellenes lagrede resultater med det rensede GigaSpeech-datasettutvalget ved hjelp av klipp-ID. De to modellinnsendingene inneholder de samme klipp-ID-ene og har samme opprinnelige referansetekst for hvert klipp. Snittet med det rensede datasettutvalget inneholder **18,760 klipp**. Beregn poengsummen for det samme utvalget med de opprinnelige og de rensede referansetekstene. Behold hver modells lagrede prediksjonstekst uendret på tvers av vurderingsverktøyene. Hver revisjon bruker sin egen engelske normalisering. Justeringen bruker Kaldialign 0.12.0 med sammenslåing av sammensatte ord aktivert. Summer feil og ord i referanseteksten på tvers av de samsvarende klippene før du deler.

Revisjonene av vurderingsverktøyet er `edd68424736537b6d0191be325ae3605c33de284` og `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Tidligere vurderingsverktøy](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Oppdatert vurderingsverktøy](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referansetekster | Modell | Tidligere feil / ord | Tidligere WER | Oppdaterte feil / ord | Oppdatert WER |
| --- | --- | ---: | ---: | ---: | ---: |
| Opprinnelig | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Opprinnelig | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Renset | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Renset | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

I det opprinnelige GigaSpeech-manifestet for 3B gir fjerning av GigaSpeechs fire dokumenterte typer tegnsettingsmarkører før den nyere normaliseringen de samme referanse- og prediksjonstokenene som tidligere i alle de 19,898 radene. Ratene for den rensede 0.6B-versjonen rundes av til samme prosentandel, med fem færre feil etter de oppdaterte reglene. Dette er nykjøringer av lagrede innsendinger fra én utgiver. De viser effekten på disse resultatene med de fastlåste innstillingene for poengberegning. [Forhåndsbehandling av GigaSpeech-tekst](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Fastlåst 3B-innsending](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Fastlåst 0.6B-innsending](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Fastlåste rensede referansetekster](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test av lagret poengsum

Den oppdiktede referanseteksten er `we [need to leave] now`. Prediksjonen er `we now`. Det tidligere vurderingsverktøyet fjerner de tre ordene i hakeparentes og gir tekstparet 0% WER. Når poengsumfilen beholdes, returnerer det oppdaterte vurderingsverktøyet 0% og justerer null par. Når ny beregning etterspørres, justerer det ett par, beholder ordene i hakeparentes som ord i referanseteksten og returnerer tre utelatelser over fem ord, eller 60%. Den innlemmede endringen dokumenterer muligheten for ny beregning. [Endring i poengberegningen for Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test per opptak

Grupper de 18,760 samsvarende klippene etter det opprinnelige opptaket som er angitt i GigaSpeechs klipp-ID. For hver av de 131 gruppene utelater du alle klippene i gruppen fra begge systemene og beregner forskjellen på nytt med de gjenværende ordene i referanseteksten. Forskjellen er WER for 0.6B minus WER for 3B. Med rensede referansetekster og det nyere vurderingsverktøyet er forskjellen for hele utvalget `100 × (29,336 − 27,506) / 397,143`, eller **0.460791 prosentpoeng**. De 131 resultatene etter utelatelse varierer fra **0.430797 til 0.478149 prosentpoeng**. Rekkefølgen er den samme ved hver utelatelse. Dette viser hvor følsomt resultatet er for ett opptak om gangen i det samsvarende utvalget. [Identifikatorer for opptak og segmenter i GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
