Forskning
Slik sjekker du poengsummen for en transkripsjon før du godkjenner leveransen
Be om listen over klipp, referanseteksten, de leverte transkripsjonene og innstillingene for vurderingen. Ordfeilraten teller ord som er byttet ut, utelatt eller lagt til per 100 ord i referanseteksten. En lav rate kan likevel skjule feil som har betydning for oppgaven, som et manglende minustegn eller et ord i feil del av opptaket. Sjekk slike detaljer før du godkjenner leveransen. Slik beregnes ordfeilraten
Sjekk at ordene står i riktig del av opptaket
Tenk deg at referansen har to segmenter, turn left og then stop. I leveransen står det turn left then og stop. Setter du sammen segmentene, blir ordfeilraten 0 % fordi alle fire ordene står i riktig rekkefølge. Vurderer du segmentene hver for seg, blir den 50 % fordi then er lagt til i det første segmentet og mangler i det andre. Vurder hvert segment for seg hvis grensene er viktige for oppgaven. Eksempel med to segmenter
Ta med stille klipp i testen
I en tenkt test med to taleklipp hadde system A en ordfeilrate på 0 % og system B en på 12,5 %. Vi la til ett klipp som var bekreftet stille. A skrev to ord der, og ordfeilraten steg til 25 %. B ble værende på 12,5 %. Hvis leveransen inneholder stille partier, oppgi hvor mange bekreftet stille klipp som inneholder uønsket tekst. Merk klipp uten referansetekst separat, så de ikke telles som stille. Eksempel med et stille klipp
Les tallene i originalteksten
I én test behandlet vurderingsreglene offset -5 meters og offset 5 meters som identiske. Det samme gjaldt offset 1.5 meters og offset 15 meters. I en annen test med Whisper bevarte den første normaliseringen minustegnet i «negative one point five». Den andre normaliseringen fjernet det. Ordfeilraten for det samme svaret uten fortegn sank fra 33,3 % til 0 %. Hvis tallene er viktige, les dem i originaltekstene og noter hvor mange ganger hver tekst normaliseres. Test av tegnsetting · Test med Whisper
Beregn poengsummen på nytt på de samme klippene når reglene endres
Vi vurderte lagrede transkripsjoner fra to ARK-ASR-modeller på de samme 18 760 GigaSpeech-klippene. Med de opprinnelige referansetekstene økte en oppdatering av Open ASR ordfeilraten for den større modellen fra 6,93 % til 15,11 % og for den mindre fra 7,39 % til 15,50 %. De nye reglene regnet tegnsettingsmarkører som <COMMA> som ord. Med rensede referansetekster for de samme klippene fikk modellene henholdsvis 6,93 % og 7,39 % etter avrunding til to desimaler, både med gamle og nye regler. Sammenligning av poengsummer
Når reglene endres, beregn begge poengsummene på nytt med de samme klippene og referansene. I et annet tenkt eksempel hentet det oppdaterte programmet det gamle resultatet fra en lagret fil, helt til vi uttrykkelig ba om ny beregning. Sjekk at beregningen faktisk ble kjørt på nytt før du sammenligner resultatene. Test av lagret poengsum
Se hvor mye ett opptak påvirker et jevnt resultat
Noen opptak gir mange klipp. I GigaSpeech-testen utelot vi ett helt opptak om gangen og sammenlignet modellene på klippene som var igjen. Med rensede referanser og de nyere reglene lå den større modellen 0,46 prosentpoeng foran over alle 131 opptak. Forspranget varierte fra 0,43 til 0,48 prosentpoeng når vi utelot ett opptak. Bruk denne sjekken for å finne ut om ett enkelt opptak avgjør en jevn sammenligning. Test per opptak