Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak zkontrolovat skóre přepisu před převzetím dodávky

Jazyk: Čeština

Vyžádejte si seznam klipů, referenční text pro hodnocení, dodané přepisy a nastavení hodnocení. Míra chybovosti slov vyjadřuje počet nahrazených, vynechaných nebo přidaných slov na 100 slov referenčního textu. I nízká chybovost může skrýt chyby důležité pro vaši práci, třeba chybějící znaménko minus nebo slovo v nesprávné části nahrávky. Zkontrolujte tyto podrobnosti před převzetím dodávky. Jak se počítá míra chybovosti slov

Ověřte, že slova jsou ve správné části nahrávky

Představte si referenční text se dvěma úseky, turn left a then stop. Dodaný přepis má úseky turn left then a stop. Po spojení je chybovost 0 %, protože všechna čtyři slova zůstala ve správném pořadí. Při samostatném hodnocení úseků vyjde 50 %, protože then přebývá v prvním úseku a chybí ve druhém. Pokud jsou hranice úseků pro práci důležité, hodnoťte každý zvlášť. Příklad hodnocení úseků

Ponechte v testu tiché klipy

Ve smyšleném testu dvou klipů s řečí měl systém A chybovost 0 % a systém B 12,5 %. Přidali jsme jeden klip, u kterého bylo ověřeno ticho. Systém A v něm vytvořil dvě slova a jeho chybovost stoupla na 25 %. Systém B zůstal na 12,5 %. Pokud dodávka obsahuje ticho, uveďte, v kolika ověřeně tichých klipech se objevil nežádoucí text. Klipy bez reference označte zvlášť, aby se nezapočítávaly mezi tiché. Příklad tichého klipu

Čísla kontrolujte v původním textu

V jednom testu považovala pravidla hodnocení offset -5 meters a offset 5 meters za totožné. Totéž platilo pro offset 1.5 meters a offset 15 meters. V samostatném testu nástroje Whisper první normalizace zachovala znaménko minus z výrazu „negative one point five“. Druhá normalizace je odstranila a chybovost pro stejnou odpověď bez znaménka klesla z 33,3 % na 0 %. Pokud na číslech záleží, čtěte je z původních textů a zaznamenejte, kolikrát byl každý text normalizován. Test interpunkce · Test nástroje Whisper

Po změně pravidel znovu vyhodnoťte stejné klipy

Uložené přepisy dvou modelů ARK-ASR jsme vyhodnotili na stejných 18 760 klipech GigaSpeech. S původními referenčními přepisy zvýšila aktualizace hodnocení v Open ASR chybovost většího modelu z 6,93 % na 15,11 % a menšího z 7,39 % na 15,50 %. Nová pravidla počítala značky interpunkce, například <COMMA>, jako slova. S vyčištěnými referenčními přepisy pro stejné klipy byla po zaokrouhlení na dvě desetinná místa chybovost modelů 6,93 % a 7,39 % v obou verzích pravidel. Srovnání výsledků

Při změně pravidel vypočtěte oba výsledky znovu na stejných klipech a referencích. V jiném smyšleném příkladu vracel aktualizovaný hodnoticí program předchozí výsledek z uloženého souboru, dokud jsme výslovně nepožádali o nový výpočet. Před porovnáním ověřte, že výpočet skutečně proběhl znovu. Test uloženého výsledku

Zjistěte, jak velký vliv má jedna nahrávka na těsný výsledek

Z některých nahrávek pochází mnoho klipů. V testu GigaSpeech jsme pokaždé vynechali jednu celou nahrávku a modely porovnali na zbývajících klipech. S vyčištěnými referencemi a novějšími pravidly měl větší model na všech 131 nahrávkách náskok 0,46 procentního bodu. Při vynechání jedné nahrávky byl náskok v rozmezí 0,43 až 0,48 bodu. Touto kontrolou zjistíte, zda o těsném výsledku rozhoduje jediná nahrávka. Test podle nahrávek