Onderzoek
Zo controleer je de score van een transcriptie vóór je de levering accepteert
Vraag om de lijst met fragmenten, de referentietekst, de geleverde transcripties en de scoringsinstellingen. Het woordfoutpercentage telt vervangingen, weglatingen en toevoegingen per 100 woorden referentietekst. Ook een laag percentage kan fouten verhullen die voor het werk belangrijk zijn, zoals een ontbrekend minteken of een woord op de verkeerde plek in een opname. Controleer die details vóór je de levering accepteert. Zo werkt het woordfoutpercentage
Controleer of de woorden in het juiste deel van de opname staan
Stel dat een referentie uit twee segmenten bestaat, turn left en then stop. In de levering staat turn left then en stop. Voeg je de segmenten samen, dan is het foutpercentage 0%, omdat alle vier de woorden in de juiste volgorde staan. Meet je de segmenten apart, dan is het 50%, omdat then aan het eerste segment is toegevoegd en in het tweede ontbreekt. Meet elk segment afzonderlijk als de grenzen belangrijk zijn voor het werk. Voorbeeld met twee segmenten
Neem stille fragmenten op in de test
In een fictieve test op twee spraakfragmenten had systeem A een woordfoutpercentage van 0% en systeem B van 12,5%. We voegden één gecontroleerd stil fragment toe. A produceerde daarop twee woorden en zijn percentage steeg naar 25%. B bleef op 12,5%. Bevat de levering stilte, meld dan in hoeveel aantoonbaar stille fragmenten ongewenste tekst staat. Markeer ontbrekende referenties apart, zodat ze niet als stilte meetellen. Voorbeeld met een stil fragment
Lees de getallen in de oorspronkelijke tekst
In één test behandelden de scoreregels offset -5 meters en offset 5 meters als identiek. Hetzelfde gold voor offset 1.5 meters en offset 15 meters. In een aparte test met Whisper bleef het minteken van ‘negative one point five’ bij de eerste normalisatie behouden. De tweede normalisatie verwijderde het teken. Voor hetzelfde antwoord zonder teken daalde het woordfoutpercentage van 33,3% naar 0%. Controleer belangrijke getallen in de oorspronkelijke teksten en leg vast hoe vaak elke tekst wordt genormaliseerd. Test met leestekens · Whisper-test
Bereken de scores opnieuw op dezelfde fragmenten als de regels veranderen
We beoordeelden opgeslagen transcripties van twee ARK-ASR-modellen op dezelfde 18.760 GigaSpeech-fragmenten. Met de oorspronkelijke referenties steeg door een update van Open ASR het woordfoutpercentage van het grotere model van 6,93% naar 15,11% en dat van het kleinere model van 7,39% naar 15,50%. De nieuwe regels telden leestekenmarkeringen zoals <COMMA> als woorden. Met opgeschoonde referenties voor dezelfde fragmenten waren de percentages voor beide versies van de regels afgerond op twee decimalen respectievelijk 6,93% en 7,39%. Vergelijking van scores
Wanneer de scoreregels veranderen, bereken je beide scores opnieuw met dezelfde fragmenten en referenties. In een ander fictief voorbeeld gaf de bijgewerkte software de vorige score uit een opgeslagen bestand terug totdat we uitdrukkelijk een nieuwe berekening startten. Controleer of de software de scores opnieuw heeft berekend vóór je ze vergelijkt. Test met een opgeslagen score
Bekijk hoeveel invloed één opname heeft op een klein verschil
Sommige opnamen leveren veel fragmenten op. In de GigaSpeech-test lieten we telkens één volledige opname weg en vergeleken we de modellen op de overgebleven fragmenten. Met opgeschoonde referenties en de nieuwere regels lag het grotere model over alle 131 opnamen 0,46 procentpunt voor. Bij weglating van één opname varieerde de voorsprong van 0,43 tot 0,48 punt. Zo controleer je of één opname de uitkomst van een krappe vergelijking bepaalt. Test per opname