Hoppa till huvudinnehållet

Meny

Forskning

Så kontrollerar du poängen för en transkribering innan du godkänner leveransen

Språk: Svenska

Be om listan över klipp, referenstexten, de levererade transkriberingarna och inställningarna för poängberäkning. Ordfelsfrekvensen räknar hur många ord som har ersatts, utelämnats eller lagts till per 100 ord i referenstexten. En låg frekvens kan ändå dölja fel som har betydelse för uppdraget, till exempel ett borttappat minustecken eller ett ord i fel del av inspelningen. Kontrollera sådana detaljer innan du godkänner leveransen. Så beräknas ordfelsfrekvensen

Kontrollera att orden finns i rätt del av inspelningen

Anta att referenstexten har två segment, turn left och then stop. I leveransen står det turn left then och stop. Om segmenten slås ihop blir ordfelsfrekvensen 0 %, eftersom alla fyra orden ligger i rätt ordning. Om segmenten bedöms separat blir den 50 %, eftersom then lagts till i det första segmentet och saknas i det andra. Bedöm varje segment för sig om segmentgränserna spelar roll för uppdraget. Exempel med två segment

Ta med tysta klipp i testet

I ett påhittat test med två talklipp hade system A en ordfelsfrekvens på 0 % och system B en på 12,5 %. Vi lade till ett klipp som hade bekräftats vara tyst. A skrev två ord för det klippet och ordfelsfrekvensen steg till 25 %. För B låg den kvar på 12,5 %. Om leveransen innehåller tystnad, rapportera hur många bekräftat tysta klipp som innehåller oönskad text. Markera klipp utan referenstext separat så att de inte räknas som tysta. Exempel med ett tyst klipp

Läs siffrorna i den ursprungliga texten

I ett test behandlade bedömningsreglerna offset -5 meters och offset 5 meters som identiska. Detsamma gällde offset 1.5 meters och offset 15 meters. I ett separat test med Whisper bevarades minustecknet i ”negative one point five” vid första normaliseringen. Vid den andra försvann det, och samma svar utan tecken gick från 33,3 % till 0 % ordfel. Om siffrorna är viktiga, läs dem i originaltexterna och anteckna hur många gånger varje text normaliseras. Test av skiljetecken · Test med Whisper

Beräkna poängen på nytt för samma klipp om reglerna ändras

Vi bedömde sparade transkriberingar från två ARK-ASR-modeller på samma 18 760 GigaSpeech-klipp. Med de ursprungliga referenstexterna höjde en uppdatering i Open ASR ordfelsfrekvensen för den större modellen från 6,93 % till 15,11 % och för den mindre modellen från 7,39 % till 15,50 %. De nya reglerna räknade skiljeteckensmarkörer som <COMMA> som ord. Med rensade referenstexter för samma klipp fick modellerna 6,93 % respektive 7,39 % efter avrundning till två decimaler, med både de gamla och de nya reglerna. Jämförelse av poäng

När reglerna ändras, räkna om båda poängen på samma klipp och referenser. I ett annat påhittat exempel hämtade det uppdaterade programmet det gamla resultatet från en sparad fil tills vi uttryckligen bad det räkna på nytt. Kontrollera att beräkningen faktiskt gjordes om innan du jämför resultaten. Test av sparad poäng

Se hur mycket en enda inspelning påverkar ett jämnt resultat

Vissa inspelningar ger många klipp. I GigaSpeech-testet uteslöt vi en hel inspelning i taget och jämförde modellerna på de återstående klippen. Med rensade referenser och de nyare reglerna låg den större modellen 0,46 procentenheter före över samtliga 131 inspelningar. Försprånget varierade mellan 0,43 och 0,48 procentenheter när en inspelning uteslöts. Använd kontrollen för att se om en enda inspelning avgör en jämn jämförelse. Test per inspelning