# Jak zkontrolovat skóre přepisu před převzetím dodávky

Vyžádejte si seznam klipů, referenční text pro hodnocení, dodané přepisy a nastavení hodnocení. Míra chybovosti slov vyjadřuje počet nahrazených, vynechaných nebo přidaných slov na 100 slov referenčního textu. I nízká chybovost může skrýt chyby důležité pro vaši práci, třeba chybějící znaménko minus nebo slovo v nesprávné části nahrávky. Zkontrolujte tyto podrobnosti před převzetím dodávky. [Jak se počítá míra chybovosti slov](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Ověřte, že slova jsou ve správné části nahrávky

Představte si referenční text se dvěma úseky, `turn left` a `then stop`. Dodaný přepis má úseky `turn left then` a `stop`. Po spojení je chybovost 0 %, protože všechna čtyři slova zůstala ve správném pořadí. Při samostatném hodnocení úseků vyjde 50 %, protože `then` přebývá v prvním úseku a chybí ve druhém. Pokud jsou hranice úseků pro práci důležité, hodnoťte každý zvlášť. [Příklad hodnocení úseků](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#segment-example)

## Ponechte v testu tiché klipy

Ve smyšleném testu dvou klipů s řečí měl systém A chybovost 0 % a systém B 12,5 %. Přidali jsme jeden klip, u kterého bylo ověřeno ticho. Systém A v něm vytvořil dvě slova a jeho chybovost stoupla na 25 %. Systém B zůstal na 12,5 %. Pokud dodávka obsahuje ticho, uveďte, v kolika ověřeně tichých klipech se objevil nežádoucí text. Klipy bez reference označte zvlášť, aby se nezapočítávaly mezi tiché. [Příklad tichého klipu](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Čísla kontrolujte v původním textu

V jednom testu považovala pravidla hodnocení `offset -5 meters` a `offset 5 meters` za totožné. Totéž platilo pro `offset 1.5 meters` a `offset 15 meters`. V samostatném testu nástroje Whisper první normalizace zachovala znaménko minus z výrazu „negative one point five“. Druhá normalizace je odstranila a chybovost pro stejnou odpověď bez znaménka klesla z 33,3 % na 0 %. Pokud na číslech záleží, čtěte je z původních textů a zaznamenejte, kolikrát byl každý text normalizován. [Test interpunkce](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test nástroje Whisper](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#whisper-test)

## Po změně pravidel znovu vyhodnoťte stejné klipy

Uložené přepisy dvou modelů ARK-ASR jsme vyhodnotili na stejných 18 760 klipech GigaSpeech. S původními referenčními přepisy zvýšila aktualizace hodnocení v Open ASR chybovost většího modelu z 6,93 % na 15,11 % a menšího z 7,39 % na 15,50 %. Nová pravidla počítala značky interpunkce, například `<COMMA>`, jako slova. S vyčištěnými referenčními přepisy pro stejné klipy byla po zaokrouhlení na dvě desetinná místa chybovost modelů 6,93 % a 7,39 % v obou verzích pravidel. [Srovnání výsledků](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#score-comparison)

Při změně pravidel vypočtěte oba výsledky znovu na stejných klipech a referencích. V jiném smyšleném příkladu vracel aktualizovaný hodnoticí program předchozí výsledek z uloženého souboru, dokud jsme výslovně nepožádali o nový výpočet. Před porovnáním ověřte, že výpočet skutečně proběhl znovu. [Test uloženého výsledku](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Zjistěte, jak velký vliv má jedna nahrávka na těsný výsledek

Z některých nahrávek pochází mnoho klipů. V testu GigaSpeech jsme pokaždé vynechali jednu celou nahrávku a modely porovnali na zbývajících klipech. S vyčištěnými referencemi a novějšími pravidly měl větší model na všech 131 nahrávkách náskok 0,46 procentního bodu. Při vynechání jedné nahrávky byl náskok v rozmezí 0,43 až 0,48 bodu. Touto kontrolou zjistíte, zda o těsném výsledku rozhoduje jediná nahrávka. [Test podle nahrávek](https://sapien1.com/cs/research/transcript-score-acceptance/evidence.html#recording-test)
