Läs artikeln · Ladda ner underlaget (Markdown)

Underlag för att kontrollera poäng för transkriberingar

Exemplen nedan använder påhittad text eller sammanställda resultat från bidrag till offentliga benchmarktest. Ordfelsfrekvensen (WER) beräknas genom att dividera det totala antalet tillägg, utelämnanden och utbyten med antalet ord i referenstexten. Multiplicera resultatet med 100 för att uttrycka det i procent. Poängberäkning och ordmatchning med JiWER

Exempel med segment

Referenssegmenten är turn left och then stop. De levererade segmenten är turn left then och stop. När segmenten bedöms var för sig räknar poängberäkningen ett tillägg och ett utelämnande för then. Det ger två fel på fyra referensord, eller 50%. Om segmenten slås ihop blir texten turn left then stop på båda sidor, med noll fel på fyra ord. Jämförelsen gäller texten i de angivna segmenten. För att kontrollera när orden förekommer i inspelningen måste man lyssna på ljudet och kontrollera tidsstämplarna. Ordmatchning med JiWER

Exempel med ett tyst klipp

Det här är sammanvägda frekvenser för påhittade klipp. De två klippen med tal innehåller åtta referensord. Det tredje klippet är bekräftat tyst och bidrar med noll referensord.

Bedömda klippOrdfel för system AOrdfel för system BReferensordWER för AWER för B
Två klipp med tal0180%12.5%
Två klipp med tal och ett tyst klipp21825%12.5%

A producerade två ord för det tysta klippet. B lämnade det tomt. Redovisa bekräftat tysta klipp med oönskade ord separat från den sammanvägda ordfelsfrekvensen. Ge klipp som saknar referenstext en egen status. Regler för tomma referenser i JiWER 4

Test av skiljetecken

JiWER 4.0.0 kördes på två påhittade textpar, med det valfria steget för att ta bort skiljetecken tillämpat på båda sidor. offset -5 meters och offset 5 meters blir identiska. Det blir även offset 1.5 meters och offset 15 meters. Båda jämförelserna ger 0% WER efter bearbetningen. De ursprungliga sifferuttrycken skiljer sig åt i båda paren. Borttagning av skiljetecken i JiWER

Test med Whisper

I ett separat påhittat exempel omvandlar Whispers versionslåsta engelska normaliserare offset negative one point five meters till offset -one.5 meters. Den oförändrade prediktionstexten efter en rensning är offset one.5 meters. Texterna skiljer sig åt med ett ord av tre, vilket ger 33.3% WER. En andra körning omvandlar den sparade referenstexten till offset one.5 meters. Jämfört med samma prediktion blir antalet fel noll. Den här omkörningen testar poängberäkningen för text. Whisper-version · Versionslåst engelsk normaliserare

Jämförelse av poäng

Matcha de två modellernas sparade resultat med den rensade GigaSpeech-datamängden med hjälp av klipp-ID. De två modellbidragen innehåller samma klipp-ID:n och har samma ursprungliga referenstext för varje klipp. Snittet med den rensade datamängden innehåller 18,760 klipp. Beräkna poängen för samma uppsättning med de ursprungliga och de rensade referenstexterna. Behåll varje modells sparade prediktionstext oförändrad mellan poängberäkningarna. Varje version tillhandahåller sin egen engelska normalisering. Ordmatchningen använder Kaldialign 0.12.0 med sammanslagning av sammansatta ord aktiverad. Summera fel och referensord över de matchade klippen innan du dividerar.

Versionerna för poängberäkning är edd68424736537b6d0191be325ae3605c33de284 och f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Tidigare version · Uppdaterad version

ReferenstexterModellTidigare antal fel / ordTidigare WERUppdaterat antal fel / ordUppdaterad WER
UrsprungligaARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
UrsprungligaARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
RensadeARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
RensadeARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

I det ursprungliga GigaSpeech-manifestet för 3B återställs de tidigare tokenen i referens- och prediktionstexterna på alla 19,898 rader när GigaSpeechs fyra dokumenterade typer av skiljeteckenmarkörer tas bort före den nyare normaliseringen. För de rensade referenstexterna avrundas frekvenserna för 0.6B till samma procenttal, med fem färre fel enligt de uppdaterade reglerna. Resultaten kommer från omkörningar av sparade bidrag från en och samma publicerare. De visar effekten på dessa resultat med de versionslåsta inställningarna för poängberäkning. Förbearbetning av text i GigaSpeech

Versionslåst bidrag för 3B · Versionslåst bidrag för 0.6B · Versionslåsta rensade referenstexter

Test av sparad poäng

Den påhittade referenstexten är we [need to leave] now. Prediktionstexten är we now. Den tidigare versionen av poängberäkningen tar bort de tre orden inom hakparenteser och ger paret 0% WER. När poängfilen behålls returnerar den uppdaterade versionen 0% och matchar noll par. När en ny beräkning begärs matchar den ett par, behåller orden inom hakparenteser som referensord och returnerar tre utelämnanden på fem ord, eller 60%. Den införda ändringen dokumenterar alternativet för ny beräkning. Ändring av poängberäkningen i Open ASR

Test av inspelningarnas påverkan

Gruppera de 18,760 matchade klippen efter den ursprungliga inspelning som anges i GigaSpeech-klippens ID. Utelämna en grupp i taget, med alla dess klipp, från båda systemen och beräkna skillnaden på nytt med hjälp av de återstående referensorden. Upprepa detta för var och en av de 131 grupperna. Skillnaden är WER för 0.6B minus WER för 3B. Med rensade referenstexter och den nyare versionen av poängberäkningen är skillnaden för hela uppsättningen 100 × (29,336 − 27,506) / 397,143, eller 0.460791 procentenheter. Resultaten för de 131 utelämnandena sträcker sig från 0.430797 till 0.478149 procentenheter. Ordningen är densamma vid varje utelämnande. Testet visar hur känsligt resultatet för den matchade uppsättningen är för en inspelning i taget. Identifierare för inspelningar och segment i GigaSpeech