Les artikkelen · Last ned grunnlaget (Markdown)
Grunnlag for å sjekke poengsummen for transkripsjoner
Eksemplene nedenfor bruker oppdiktet tekst eller samlede resultater fra innsendte resultater til offentlige ytelsestester. Ordfeilraten (WER) beregnes ved å dele det samlede antallet innsettinger, utelatelser og erstatninger på antallet ord i referanseteksten. Multipliser resultatet med 100 for å uttrykke det i prosent. Poengberegning og justering med JiWER
Eksempel med segmenter
Referansesegmentene er turn left og then stop. De leverte segmentene er turn left then og stop. Når segmentene vurderes hver for seg, teller vurderingsverktøyet én innsetting og én utelatelse for then. Det er to feil over fire ord i referanseteksten, eller 50%. Når segmentene settes sammen, blir teksten turn left then stop på begge sider, med null feil over fire ord. Dette sammenligner teksten i de oppgitte segmentene. For å kontrollere når ordene forekommer i opptaket, må du sjekke lyden og tidsstemplene. Justering med JiWER
Eksempel med stille klipp
Dette er samlede rater for oppdiktede klipp. De to klippene med tale inneholder til sammen åtte ord i referanseteksten. Det tredje klippet er bekreftet stille og bidrar med null ord i referanseteksten.
| Vurderte klipp | Ordfeil for system A | Ordfeil for system B | Ord i referanseteksten | WER for A | WER for B |
|---|---|---|---|---|---|
| To klipp med tale | 0 | 1 | 8 | 0% | 12.5% |
| To klipp med tale og ett stille klipp | 2 | 1 | 8 | 25% | 12.5% |
A produserte to ord i det stille klippet. B lot det stå tomt. Rapporter bekreftede stille klipp med uønskede ord separat fra den samlede ordfeilraten. Gi klipp med manglende referansetekst en egen status. Regler for tomme referansetekster i JiWER 4
Test av tegnsetting
JiWER 4.0.0 ble kjørt på to oppdiktede tekstpar med valgfri fjerning av tegnsetting på begge sider. offset -5 meters og offset 5 meters blir identiske. Det samme gjelder offset 1.5 meters og offset 15 meters. Begge sammenligningene gir 0% WER etter endringen. De opprinnelige tallfeltene er forskjellige i begge parene. Fjerning av tegnsetting med JiWER
Whisper-test
I et separat, oppdiktet eksempel endrer Whispers fastlåste engelske normalisering offset negative one point five meters til offset -one.5 meters. Den fastsatte prediksjonen etter én rensingsrunde er offset one.5 meters. Tekstene skiller seg med ett av tre ord, eller 33.3% WER. En andre runde endrer den lagrede referanseteksten til offset one.5 meters. Sammenlignet med den samme prediksjonen blir antallet feil null. Denne nykjøringen tester poengberegningen for tekst. Whisper-utgivelse · Fastlåst engelsk normalisering
Sammenligning av poengsummer
Koble de to modellenes lagrede resultater med det rensede GigaSpeech-datasettutvalget ved hjelp av klipp-ID. De to modellinnsendingene inneholder de samme klipp-ID-ene og har samme opprinnelige referansetekst for hvert klipp. Snittet med det rensede datasettutvalget inneholder 18,760 klipp. Beregn poengsummen for det samme utvalget med de opprinnelige og de rensede referansetekstene. Behold hver modells lagrede prediksjonstekst uendret på tvers av vurderingsverktøyene. Hver revisjon bruker sin egen engelske normalisering. Justeringen bruker Kaldialign 0.12.0 med sammenslåing av sammensatte ord aktivert. Summer feil og ord i referanseteksten på tvers av de samsvarende klippene før du deler.
Revisjonene av vurderingsverktøyet er edd68424736537b6d0191be325ae3605c33de284 og f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Tidligere vurderingsverktøy · Oppdatert vurderingsverktøy
| Referansetekster | Modell | Tidligere feil / ord | Tidligere WER | Oppdaterte feil / ord | Oppdatert WER |
|---|---|---|---|---|---|
| Opprinnelig | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Opprinnelig | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Renset | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Renset | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
I det opprinnelige GigaSpeech-manifestet for 3B gir fjerning av GigaSpeechs fire dokumenterte typer tegnsettingsmarkører før den nyere normaliseringen de samme referanse- og prediksjonstokenene som tidligere i alle de 19,898 radene. Ratene for den rensede 0.6B-versjonen rundes av til samme prosentandel, med fem færre feil etter de oppdaterte reglene. Dette er nykjøringer av lagrede innsendinger fra én utgiver. De viser effekten på disse resultatene med de fastlåste innstillingene for poengberegning. Forhåndsbehandling av GigaSpeech-tekst
Fastlåst 3B-innsending · Fastlåst 0.6B-innsending · Fastlåste rensede referansetekster
Test av lagret poengsum
Den oppdiktede referanseteksten er we [need to leave] now. Prediksjonen er we now. Det tidligere vurderingsverktøyet fjerner de tre ordene i hakeparentes og gir tekstparet 0% WER. Når poengsumfilen beholdes, returnerer det oppdaterte vurderingsverktøyet 0% og justerer null par. Når ny beregning etterspørres, justerer det ett par, beholder ordene i hakeparentes som ord i referanseteksten og returnerer tre utelatelser over fem ord, eller 60%. Den innlemmede endringen dokumenterer muligheten for ny beregning. Endring i poengberegningen for Open ASR
Test per opptak
Grupper de 18,760 samsvarende klippene etter det opprinnelige opptaket som er angitt i GigaSpeechs klipp-ID. For hver av de 131 gruppene utelater du alle klippene i gruppen fra begge systemene og beregner forskjellen på nytt med de gjenværende ordene i referanseteksten. Forskjellen er WER for 0.6B minus WER for 3B. Med rensede referansetekster og det nyere vurderingsverktøyet er forskjellen for hele utvalget 100 × (29,336 − 27,506) / 397,143, eller 0.460791 prosentpoeng. De 131 resultatene etter utelatelse varierer fra 0.430797 til 0.478149 prosentpoeng. Rekkefølgen er den samme ved hver utelatelse. Dette viser hvor følsomt resultatet er for ett opptak om gangen i det samsvarende utvalget. Identifikatorer for opptak og segmenter i GigaSpeech