Citește articolul · Descarcă dovezile (Markdown)

Dovezi pentru verificarea scorurilor transcrierilor

Exemplele de mai jos folosesc texte inventate sau rezultate agregate din trimiteri la teste comparative publice. Rata de eroare la nivel de cuvânt (WER) se calculează împărțind numărul total de inserări, ștergeri și substituiri la numărul de cuvinte din referință. Înmulțește rezultatul cu 100 pentru a-l exprima ca procent. Evaluarea și alinierea cu JiWER

Exemplu cu segmente

Segmentele de referință sunt turn left și then stop. Segmentele livrate sunt turn left then și stop. La evaluarea segmentelor separate, sistemul numără o inserare și o ștergere pentru then. Rezultă 2 erori la 4 cuvinte de referință, adică 50%. Prin unirea segmentelor se obține turn left then stop de ambele părți, fără erori la 4 cuvinte. Această comparație folosește textul din segmentele furnizate. Pentru a verifica momentele în care apar cuvintele în înregistrare, trebuie verificate înregistrarea audio și marcajele temporale. Alinierea cu JiWER

Exemplu cu un fragment silențios

Acestea sunt rate agregate pentru fragmente inventate. Cele 2 fragmente cu vorbire furnizează 8 cuvinte de referință. Al treilea fragment este verificat ca fiind silențios și contribuie cu 0 cuvinte de referință.

Fragmente evaluateErori de cuvinte ale sistemului AErori de cuvinte ale sistemului BCuvinte de referințăWER pentru AWER pentru B
2 fragmente cu vorbire0180%12.5%
2 fragmente cu vorbire și 1 fragment silențios21825%12.5%

Sistemul A a produs 2 cuvinte pentru fragmentul silențios. Sistemul B l-a lăsat necompletat. Raportează fragmentele verificate ca silențioase, pentru care au fost produse cuvinte nedorite, separat de rata agregată de eroare la nivel de cuvânt. Atribuie un statut distinct fragmentelor al căror text de referință lipsește. Regulile JiWER 4 pentru referințe goale

Testul semnelor de punctuație

JiWER 4.0.0 a fost rulat pe 2 perechi de texte inventate, cu opțiunea de eliminare a semnelor de punctuație aplicată ambelor texte din fiecare pereche. offset -5 meters și offset 5 meters devin identice. La fel se întâmplă și cu offset 1.5 meters și offset 15 meters. Ambele comparații dau o WER de 0% după transformare. Câmpurile numerice originale diferă în ambele perechi. Eliminarea semnelor de punctuație cu JiWER

Testul Whisper

Într-un exemplu fictiv separat, versiunea fixată a normalizatorului Whisper pentru engleză transformă offset negative one point five meters în offset -one.5 meters. Predicția păstrată fixă după o singură curățare este offset one.5 meters. Textele diferă printr-un cuvânt din 3, adică o WER de 33.3%. O a doua trecere transformă referința salvată în offset one.5 meters. Comparat cu aceeași predicție, numărul de erori devine 0. Această reluare testează evaluarea textului. Versiunea Whisper · Versiunea fixată a normalizatorului pentru engleză

Compararea scorurilor

Corelează rezultatele salvate ale celor 2 modele cu setul GigaSpeech curățat, după ID-ul fragmentului. Trimiterile celor 2 modele conțin aceleași ID-uri de fragmente și au aceeași referință originală pentru fiecare fragment. Intersecția cu setul curățat conține 18,760 de fragmente. Evaluează același set folosind referințele originale și cele curățate. Păstrează neschimbat textul predicțiilor salvate ale fiecărui model pentru ambele versiuni ale sistemului de evaluare. Fiecare versiune furnizează propria normalizare pentru engleză. Alinierea folosește Kaldialign 0.12.0, cu îmbinarea compuselor activată. Însumează erorile și cuvintele de referință pentru fragmentele corelate înainte de împărțire.

Reviziile sistemului de evaluare sunt edd68424736537b6d0191be325ae3605c33de284 și f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Sistemul de evaluare anterior · Sistemul de evaluare actualizat

ReferințeModelErori / cuvinte cu sistemul anteriorWER cu sistemul anteriorErori / cuvinte cu sistemul actualizatWER cu sistemul actualizat
OriginaleARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
OriginaleARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
CurățateARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
CurățateARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

În manifestul original GigaSpeech pentru 3B, eliminarea celor 4 tipuri documentate de marcatori de punctuație GigaSpeech înainte de normalizarea mai nouă restabilește tokenurile anterioare ale referințelor și predicțiilor pe toate cele 19,898 de rânduri. Ratele pentru 0.6B cu referințe curățate se rotunjesc la același procent, cu 5 erori mai puține conform regulilor actualizate. Acestea sunt reluări ale unor trimiteri salvate de la un singur autor. Ele arată efectul asupra acestor rezultate în condițiile setărilor de evaluare fixate. Preprocesarea textului GigaSpeech

Versiunea fixată a trimiterii 3B · Versiunea fixată a trimiterii 0.6B · Versiunea fixată a referințelor curățate

Testul scorului salvat

Referința fictivă este we [need to leave] now. Predicția este we now. Sistemul de evaluare anterior elimină cele 3 cuvinte dintre paranteze drepte și evaluează perechea cu o WER de 0%. Când fișierul cu scorul este păstrat, sistemul actualizat returnează 0% și nu aliniază nicio pereche. Când se solicită recalcularea, acesta aliniază o pereche, păstrează cuvintele dintre paranteze drepte ca parte a referinței și returnează 3 ștergeri la 5 cuvinte, adică 60%. Modificarea integrată documentează opțiunea de recalculare. Modificarea evaluării Open ASR

Testul înregistrărilor

Grupează cele 18,760 de fragmente corelate după înregistrarea originală codificată în ID-ul fragmentului GigaSpeech. Pentru fiecare dintre cele 131 de grupuri, exclude toate fragmentele sale din rezultatele ambelor sisteme și recalculează diferența folosind cuvintele de referință rămase. Diferența este WER pentru 0.6B minus WER pentru 3B. Cu referințele curățate și sistemul de evaluare mai nou, diferența pentru întregul set este 100 × (29,336 − 27,506) / 397,143, adică 0.460791 puncte procentuale. Rezultatele celor 131 de excluderi variază între 0.430797 și 0.478149 puncte procentuale. Ordinea rămâne aceeași la fiecare excludere. Acest test verifică sensibilitatea rezultatelor la excluderea pe rând a câte unei înregistrări din setul corelat. Identificatorii înregistrărilor și segmentelor GigaSpeech