Přečíst článek · Stáhnout podklady (Markdown)
Podklady k ověření skóre přepisu
Následující příklady používají smyšlené texty nebo souhrnné výsledky veřejně zveřejněných výsledků benchmarku. Míra chybovosti slov (WER) se vypočítá jako součet vložených, vynechaných a nahrazených slov dělený počtem slov v referenčním přepisu. Výsledek vynásobte číslem 100, abyste jej vyjádřili v procentech. Výpočet skóre a zarovnání v JiWER
Příklad úseků
Referenční úseky jsou turn left a then stop. Dodané úseky jsou turn left then a stop. Při hodnocení jednotlivých úseků nástroj započítá jedno vložení a jedno vynechání slova then. Jde o 2 chyby na 4 referenční slova, tedy 50%. Po spojení úseků vznikne na obou stranách text turn left then stop, který obsahuje 4 slova a žádnou chybu. Toto srovnání hodnotí text v dodaných úsecích. Chcete-li ověřit, kdy slova v nahrávce zaznívají, je třeba zkontrolovat zvuk a časové značky. Zarovnání v JiWER
Příklad tichého klipu
Jde o souhrnné míry chybovosti pro smyšlené klipy. Dva klipy s řečí obsahují celkem 8 referenčních slov. U třetího klipu bylo ověřeno, že je tichý, a proto obsahuje 0 referenčních slov.
| Hodnocené klipy | Slovní chyby systému A | Slovní chyby systému B | Referenční slova | WER systému A | WER systému B |
|---|---|---|---|---|---|
| 2 klipy s řečí | 0 | 1 | 8 | 0% | 12.5% |
| 2 klipy s řečí a 1 tichý klip | 2 | 1 | 8 | 25% | 12.5% |
Systém A v tichém klipu přepsal 2 slova. Systém B jej ponechal prázdný. Ověřené tiché klipy s nežádoucími slovy uvádějte odděleně od souhrnné míry chybovosti slov. Klipům s chybějícím referenčním textem přiřaďte samostatný stav. Pravidla JiWER 4 pro prázdné reference
Test interpunkce
JiWER 4.0.0 byl spuštěn nad 2 smyšlenými dvojicemi textů, přičemž na obě strany bylo použito volitelné odstranění interpunkce. Texty offset -5 meters a offset 5 meters se po úpravě shodují. Totéž platí pro offset 1.5 meters a offset 15 meters. Obě porovnání po úpravě vykazují WER 0%. Původní číselné údaje se v obou dvojicích liší. Odstraňování interpunkce v JiWER
Test Whisperu
V samostatném smyšleném příkladu připnutá verze anglického normalizátoru Whisperu převede offset negative one point five meters na offset -one.5 meters. Neměnný text předpovědi po jednom vyčištění je offset one.5 meters. Texty se liší v 1 slově ze 3, což odpovídá WER 33.3%. Druhý průchod převede uložený referenční text na offset one.5 meters. Při porovnání se stejnou předpovědí je počet chyb nulový. Toto opakované vyhodnocení testuje skórování textu. Vydání Whisperu · Připnutá verze anglického normalizátoru
Porovnání skóre
Spárujte uložené výstupy obou modelů s vyčištěnou částí datové sady GigaSpeech podle ID klipů. Výsledky obou modelů obsahují stejná ID klipů a u každého klipu se shodují na původním referenčním přepisu. Průnik s vyčištěnou částí obsahuje 18,760 klipů. Stejnou sadu vyhodnoťte s původními i vyčištěnými referenčními přepisy. Uložený text předpovědi každého modelu ponechte při použití obou verzí hodnoticího nástroje beze změny. Každá verze používá vlastní normalizaci angličtiny. Zarovnání používá Kaldialign 0.12.0 se zapnutým slučováním složených slov. Před dělením sečtěte chyby a referenční slova napříč spárovanými klipy.
Použité verze hodnoticího nástroje jsou edd68424736537b6d0191be325ae3605c33de284 a f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Starší verze · Aktualizovaná verze
| Referenční přepisy | Model | Starší verze: chyby / slova | Starší verze: WER | Aktualizovaná verze: chyby / slova | Aktualizovaná verze: WER |
|---|---|---|---|---|---|
| Původní | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Původní | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Vyčištěné | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Vyčištěné | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
V původním manifestu GigaSpeech pro model 3B vede odstranění 4 zdokumentovaných typů interpunkčních značek GigaSpeech před novější normalizací k obnovení dřívějších tokenů referenčních přepisů i předpovědí ve všech 19,898 řádcích. Míry pro model 0.6B s vyčištěnými referenčními přepisy se po zaokrouhlení shodují, přičemž aktualizovaná pravidla vedou k o 5 chybám méně. Jde o opakované vyhodnocení uložených výsledků od jednoho vydavatele. Ukazuje vliv na tyto výstupy při pevně určeném nastavení hodnocení. Předzpracování textu GigaSpeech
Připnuté výsledky modelu 3B · Připnuté výsledky modelu 0.6B · Připnuté vyčištěné referenční přepisy
Test uloženého skóre
Smyšlený referenční přepis je we [need to leave] now. Předpověď je we now. Starší verze hodnoticího nástroje odstraní 3 slova v hranatých závorkách a pro tuto dvojici vypočítá WER 0%. Pokud je soubor se skóre zachován, aktualizovaná verze vrátí 0% a nezarovná žádné dvojice. Při požadavku na přepočet zarovná 1 dvojici, ponechá slova v hranatých závorkách jako referenční slova a vrátí 3 vynechaná slova z 5, tedy 60%. Začleněná změna možnost přepočtu dokumentuje. Změna hodnocení Open ASR
Test vlivu nahrávky
Seskupte 18,760 spárovaných klipů podle původní nahrávky uvedené v ID klipu GigaSpeech. U každé ze 131 skupin vynechte všechny její klipy z výsledků obou systémů a znovu vypočítejte rozdíl podle zbývajících referenčních slov. Rozdíl se počítá jako WER modelu 0.6B minus WER modelu 3B. S vyčištěnými referenčními přepisy a novější verzí hodnoticího nástroje je rozdíl za celou sadu 100 × (29,336 − 27,506) / 397,143, tedy 0.460791 procentního bodu. Výsledky 131 výpočtů s vynecháním jedné skupiny se pohybují od 0.430797 do 0.478149 procentního bodu. Pořadí zůstává při každém vynechání stejné. Tento postup ověřuje citlivost výsledku na jednotlivé nahrávky ve spárované sadě. Identifikátory nahrávek a úseků GigaSpeech