# Podklady k ověření skóre přepisu

Následující příklady používají smyšlené texty nebo souhrnné výsledky veřejně zveřejněných výsledků benchmarku. Míra chybovosti slov (WER) se vypočítá jako součet vložených, vynechaných a nahrazených slov dělený počtem slov v referenčním přepisu. Výsledek vynásobte číslem 100, abyste jej vyjádřili v procentech. [Výpočet skóre a zarovnání v JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Příklad úseků

Referenční úseky jsou `turn left` a `then stop`. Dodané úseky jsou `turn left then` a `stop`. Při hodnocení jednotlivých úseků nástroj započítá jedno vložení a jedno vynechání slova `then`. Jde o 2 chyby na 4 referenční slova, tedy 50%. Po spojení úseků vznikne na obou stranách text `turn left then stop`, který obsahuje 4 slova a žádnou chybu. Toto srovnání hodnotí text v dodaných úsecích. Chcete-li ověřit, kdy slova v nahrávce zaznívají, je třeba zkontrolovat zvuk a časové značky. [Zarovnání v JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Příklad tichého klipu

Jde o souhrnné míry chybovosti pro smyšlené klipy. Dva klipy s řečí obsahují celkem 8 referenčních slov. U třetího klipu bylo ověřeno, že je tichý, a proto obsahuje 0 referenčních slov.

| Hodnocené klipy | Slovní chyby systému A | Slovní chyby systému B | Referenční slova | WER systému A | WER systému B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 klipy s řečí | 0 | 1 | 8 | 0% | 12.5% |
| 2 klipy s řečí a 1 tichý klip | 2 | 1 | 8 | 25% | 12.5% |

Systém A v tichém klipu přepsal 2 slova. Systém B jej ponechal prázdný. Ověřené tiché klipy s nežádoucími slovy uvádějte odděleně od souhrnné míry chybovosti slov. Klipům s chybějícím referenčním textem přiřaďte samostatný stav. [Pravidla JiWER 4 pro prázdné reference](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test interpunkce

JiWER 4.0.0 byl spuštěn nad 2 smyšlenými dvojicemi textů, přičemž na obě strany bylo použito volitelné odstranění interpunkce. Texty `offset -5 meters` a `offset 5 meters` se po úpravě shodují. Totéž platí pro `offset 1.5 meters` a `offset 15 meters`. Obě porovnání po úpravě vykazují WER 0%. Původní číselné údaje se v obou dvojicích liší. [Odstraňování interpunkce v JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Test Whisperu

V samostatném smyšleném příkladu připnutá verze anglického normalizátoru Whisperu převede `offset negative one point five meters` na `offset -one.5 meters`. Neměnný text předpovědi po jednom vyčištění je `offset one.5 meters`. Texty se liší v 1 slově ze 3, což odpovídá WER 33.3%. Druhý průchod převede uložený referenční text na `offset one.5 meters`. Při porovnání se stejnou předpovědí je počet chyb nulový. Toto opakované vyhodnocení testuje skórování textu. [Vydání Whisperu](https://github.com/openai/whisper/releases/tag/v20250625) · [Připnutá verze anglického normalizátoru](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Porovnání skóre

Spárujte uložené výstupy obou modelů s vyčištěnou částí datové sady GigaSpeech podle ID klipů. Výsledky obou modelů obsahují stejná ID klipů a u každého klipu se shodují na původním referenčním přepisu. Průnik s vyčištěnou částí obsahuje **18,760 klipů**. Stejnou sadu vyhodnoťte s původními i vyčištěnými referenčními přepisy. Uložený text předpovědi každého modelu ponechte při použití obou verzí hodnoticího nástroje beze změny. Každá verze používá vlastní normalizaci angličtiny. Zarovnání používá Kaldialign 0.12.0 se zapnutým slučováním složených slov. Před dělením sečtěte chyby a referenční slova napříč spárovanými klipy.

Použité verze hodnoticího nástroje jsou `edd68424736537b6d0191be325ae3605c33de284` a `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Starší verze](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Aktualizovaná verze](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referenční přepisy | Model | Starší verze: chyby / slova | Starší verze: WER | Aktualizovaná verze: chyby / slova | Aktualizovaná verze: WER |
| --- | --- | ---: | ---: | ---: | ---: |
| Původní | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Původní | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Vyčištěné | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Vyčištěné | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

V původním manifestu GigaSpeech pro model 3B vede odstranění 4 zdokumentovaných typů interpunkčních značek GigaSpeech před novější normalizací k obnovení dřívějších tokenů referenčních přepisů i předpovědí ve všech 19,898 řádcích. Míry pro model 0.6B s vyčištěnými referenčními přepisy se po zaokrouhlení shodují, přičemž aktualizovaná pravidla vedou k o 5 chybám méně. Jde o opakované vyhodnocení uložených výsledků od jednoho vydavatele. Ukazuje vliv na tyto výstupy při pevně určeném nastavení hodnocení. [Předzpracování textu GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Připnuté výsledky modelu 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Připnuté výsledky modelu 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Připnuté vyčištěné referenční přepisy](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test uloženého skóre

Smyšlený referenční přepis je `we [need to leave] now`. Předpověď je `we now`. Starší verze hodnoticího nástroje odstraní 3 slova v hranatých závorkách a pro tuto dvojici vypočítá WER 0%. Pokud je soubor se skóre zachován, aktualizovaná verze vrátí 0% a nezarovná žádné dvojice. Při požadavku na přepočet zarovná 1 dvojici, ponechá slova v hranatých závorkách jako referenční slova a vrátí 3 vynechaná slova z 5, tedy 60%. Začleněná změna možnost přepočtu dokumentuje. [Změna hodnocení Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test vlivu nahrávky

Seskupte 18,760 spárovaných klipů podle původní nahrávky uvedené v ID klipu GigaSpeech. U každé ze 131 skupin vynechte všechny její klipy z výsledků obou systémů a znovu vypočítejte rozdíl podle zbývajících referenčních slov. Rozdíl se počítá jako WER modelu 0.6B minus WER modelu 3B. S vyčištěnými referenčními přepisy a novější verzí hodnoticího nástroje je rozdíl za celou sadu `100 × (29,336 − 27,506) / 397,143`, tedy **0.460791 procentního bodu**. Výsledky 131 výpočtů s vynecháním jedné skupiny se pohybují od **0.430797 do 0.478149 procentního bodu**. Pořadí zůstává při každém vynechání stejné. Tento postup ověřuje citlivost výsledku na jednotlivé nahrávky ve spárované sadě. [Identifikátory nahrávek a úseků GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
