Läs artikeln · Ladda ner underlaget (Markdown)
Underlag för att kontrollera poäng för transkriberingar
Exemplen nedan använder påhittad text eller sammanställda resultat från bidrag till offentliga benchmarktest. Ordfelsfrekvensen (WER) beräknas genom att dividera det totala antalet tillägg, utelämnanden och utbyten med antalet ord i referenstexten. Multiplicera resultatet med 100 för att uttrycka det i procent. Poängberäkning och ordmatchning med JiWER
Exempel med segment
Referenssegmenten är turn left och then stop. De levererade segmenten är turn left then och stop. När segmenten bedöms var för sig räknar poängberäkningen ett tillägg och ett utelämnande för then. Det ger två fel på fyra referensord, eller 50%. Om segmenten slås ihop blir texten turn left then stop på båda sidor, med noll fel på fyra ord. Jämförelsen gäller texten i de angivna segmenten. För att kontrollera när orden förekommer i inspelningen måste man lyssna på ljudet och kontrollera tidsstämplarna. Ordmatchning med JiWER
Exempel med ett tyst klipp
Det här är sammanvägda frekvenser för påhittade klipp. De två klippen med tal innehåller åtta referensord. Det tredje klippet är bekräftat tyst och bidrar med noll referensord.
| Bedömda klipp | Ordfel för system A | Ordfel för system B | Referensord | WER för A | WER för B |
|---|---|---|---|---|---|
| Två klipp med tal | 0 | 1 | 8 | 0% | 12.5% |
| Två klipp med tal och ett tyst klipp | 2 | 1 | 8 | 25% | 12.5% |
A producerade två ord för det tysta klippet. B lämnade det tomt. Redovisa bekräftat tysta klipp med oönskade ord separat från den sammanvägda ordfelsfrekvensen. Ge klipp som saknar referenstext en egen status. Regler för tomma referenser i JiWER 4
Test av skiljetecken
JiWER 4.0.0 kördes på två påhittade textpar, med det valfria steget för att ta bort skiljetecken tillämpat på båda sidor. offset -5 meters och offset 5 meters blir identiska. Det blir även offset 1.5 meters och offset 15 meters. Båda jämförelserna ger 0% WER efter bearbetningen. De ursprungliga sifferuttrycken skiljer sig åt i båda paren. Borttagning av skiljetecken i JiWER
Test med Whisper
I ett separat påhittat exempel omvandlar Whispers versionslåsta engelska normaliserare offset negative one point five meters till offset -one.5 meters. Den oförändrade prediktionstexten efter en rensning är offset one.5 meters. Texterna skiljer sig åt med ett ord av tre, vilket ger 33.3% WER. En andra körning omvandlar den sparade referenstexten till offset one.5 meters. Jämfört med samma prediktion blir antalet fel noll. Den här omkörningen testar poängberäkningen för text. Whisper-version · Versionslåst engelsk normaliserare
Jämförelse av poäng
Matcha de två modellernas sparade resultat med den rensade GigaSpeech-datamängden med hjälp av klipp-ID. De två modellbidragen innehåller samma klipp-ID:n och har samma ursprungliga referenstext för varje klipp. Snittet med den rensade datamängden innehåller 18,760 klipp. Beräkna poängen för samma uppsättning med de ursprungliga och de rensade referenstexterna. Behåll varje modells sparade prediktionstext oförändrad mellan poängberäkningarna. Varje version tillhandahåller sin egen engelska normalisering. Ordmatchningen använder Kaldialign 0.12.0 med sammanslagning av sammansatta ord aktiverad. Summera fel och referensord över de matchade klippen innan du dividerar.
Versionerna för poängberäkning är edd68424736537b6d0191be325ae3605c33de284 och f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Tidigare version · Uppdaterad version
| Referenstexter | Modell | Tidigare antal fel / ord | Tidigare WER | Uppdaterat antal fel / ord | Uppdaterad WER |
|---|---|---|---|---|---|
| Ursprungliga | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Ursprungliga | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Rensade | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Rensade | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
I det ursprungliga GigaSpeech-manifestet för 3B återställs de tidigare tokenen i referens- och prediktionstexterna på alla 19,898 rader när GigaSpeechs fyra dokumenterade typer av skiljeteckenmarkörer tas bort före den nyare normaliseringen. För de rensade referenstexterna avrundas frekvenserna för 0.6B till samma procenttal, med fem färre fel enligt de uppdaterade reglerna. Resultaten kommer från omkörningar av sparade bidrag från en och samma publicerare. De visar effekten på dessa resultat med de versionslåsta inställningarna för poängberäkning. Förbearbetning av text i GigaSpeech
Versionslåst bidrag för 3B · Versionslåst bidrag för 0.6B · Versionslåsta rensade referenstexter
Test av sparad poäng
Den påhittade referenstexten är we [need to leave] now. Prediktionstexten är we now. Den tidigare versionen av poängberäkningen tar bort de tre orden inom hakparenteser och ger paret 0% WER. När poängfilen behålls returnerar den uppdaterade versionen 0% och matchar noll par. När en ny beräkning begärs matchar den ett par, behåller orden inom hakparenteser som referensord och returnerar tre utelämnanden på fem ord, eller 60%. Den införda ändringen dokumenterar alternativet för ny beräkning. Ändring av poängberäkningen i Open ASR
Test av inspelningarnas påverkan
Gruppera de 18,760 matchade klippen efter den ursprungliga inspelning som anges i GigaSpeech-klippens ID. Utelämna en grupp i taget, med alla dess klipp, från båda systemen och beräkna skillnaden på nytt med hjälp av de återstående referensorden. Upprepa detta för var och en av de 131 grupperna. Skillnaden är WER för 0.6B minus WER för 3B. Med rensade referenstexter och den nyare versionen av poängberäkningen är skillnaden för hela uppsättningen 100 × (29,336 − 27,506) / 397,143, eller 0.460791 procentenheter. Resultaten för de 131 utelämnandena sträcker sig från 0.430797 till 0.478149 procentenheter. Ordningen är densamma vid varje utelämnande. Testet visar hur känsligt resultatet för den matchade uppsättningen är för en inspelning i taget. Identifierare för inspelningar och segment i GigaSpeech