Leggi l’articolo · Scarica le evidenze (Markdown)

Evidenze per verificare i punteggi delle trascrizioni

Gli esempi riportati qui usano testi inventati o risultati aggregati di invii a benchmark pubblici. Il tasso di errore sulle parole (WER) si ottiene dividendo il totale di inserimenti, eliminazioni e sostituzioni per il numero di parole di riferimento. Moltiplica il risultato per 100 per esprimerlo in percentuale. Calcolo del punteggio e allineamento con JiWER

Esempio con segmenti

I segmenti di riferimento sono turn left e then stop. I segmenti consegnati sono turn left then e stop. Valutando i segmenti separatamente, il sistema di valutazione conta un inserimento e un’eliminazione per then. Sono 2 errori su 4 parole di riferimento, pari al 50%. Unendo i segmenti si ottiene turn left then stop su entrambi i lati, con 0 errori su 4 parole. Questo confronto riguarda il testo nei segmenti forniti. Per verificare quando le parole compaiono nella registrazione occorre controllare l’audio e le indicazioni temporali. Allineamento con JiWER

Esempio con una clip silenziosa

Questi sono tassi aggregati per clip inventate. Le 2 clip con parlato contengono 8 parole di riferimento. La terza clip è stata verificata come silenziosa e contribuisce con 0 parole di riferimento.

Clip valutateErrori sulle parole del sistema AErrori sulle parole del sistema BParole di riferimentoWER di AWER di B
2 clip con parlato0180%12.5%
2 clip con parlato e 1 clip silenziosa21825%12.5%

A ha prodotto 2 parole nella clip silenziosa. B l’ha lasciata vuota. Riporta separatamente dal tasso di errore aggregato sulle parole le clip verificate come silenziose che contengono parole indesiderate. Assegna uno stato distinto alle clip prive di testo di riferimento. Regole di JiWER 4 per i riferimenti vuoti

Test sulla punteggiatura

JiWER 4.0.0 è stato eseguito su 2 coppie di testi inventati, applicando a entrambi i lati la rimozione facoltativa della punteggiatura. offset -5 meters e offset 5 meters diventano identici, così come offset 1.5 meters e offset 15 meters. Dopo la trasformazione, entrambi i confronti producono un WER dello 0%. I campi numerici originali sono diversi in entrambe le coppie. Rimozione della punteggiatura con JiWER

Test con Whisper

In un esempio inventato separato, la versione fissata del normalizzatore inglese di Whisper trasforma offset negative one point five meters in offset -one.5 meters. La previsione mantenuta invariata dopo un passaggio di pulizia è offset one.5 meters. I testi differiscono per 1 parola su 3, con un WER del 33.3%. Un secondo passaggio trasforma il riferimento salvato in offset one.5 meters. Rispetto alla stessa previsione, il numero di errori diventa 0. Questa riesecuzione verifica il calcolo del punteggio sul testo. Versione di Whisper · Versione fissata del normalizzatore inglese

Confronto dei punteggi

Abbina gli output salvati dei 2 modelli e la partizione ripulita di GigaSpeech tramite gli ID delle clip. Gli invii dei 2 modelli contengono gli stessi ID delle clip e concordano sul riferimento originale di ciascuna clip. L’intersezione con la partizione ripulita contiene 18,760 clip. Valuta lo stesso insieme con i riferimenti originali e con quelli ripuliti. Mantieni invariato il testo delle previsioni salvate di ciascun modello tra i sistemi di valutazione. Ogni revisione fornisce la propria normalizzazione inglese. L’allineamento usa Kaldialign 0.12.0 con l’unione dei composti attivata. Somma gli errori e le parole di riferimento delle clip abbinate prima di eseguire la divisione.

Le revisioni del sistema di valutazione sono edd68424736537b6d0191be325ae3605c33de284 e f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Sistema di valutazione precedente · Sistema di valutazione aggiornato

RiferimentiModelloErrori / parole precedentiWER precedenteErrori / parole aggiornatiWER aggiornato
OriginaliARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
OriginaliARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
RipulitiARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
RipulitiARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

Nel manifest originale di GigaSpeech per 3B, la rimozione dei 4 tipi documentati di marcatori di punteggiatura di GigaSpeech prima della normalizzazione più recente ripristina i token precedenti dei riferimenti e delle previsioni in tutte le 19,898 righe. I tassi di 0.6B con riferimenti ripuliti si arrotondano alla stessa percentuale, con 5 errori in meno secondo le regole aggiornate. Si tratta di riesecuzioni di invii salvati da un unico autore. I risultati mostrano l’effetto su questi output con le impostazioni di valutazione fissate. Preelaborazione del testo di GigaSpeech

Versione fissata dell’invio 3B · Versione fissata dell’invio 0.6B · Versione fissata dei riferimenti ripuliti

Test del punteggio salvato

Il riferimento inventato è we [need to leave] now. La previsione è we now. Il sistema di valutazione precedente rimuove le 3 parole tra parentesi quadre e assegna alla coppia un WER dello 0%. Se il file dei punteggi viene mantenuto, il sistema aggiornato restituisce 0% e non allinea alcuna coppia. Quando viene richiesto il ricalcolo, allinea 1 coppia, mantiene le parole tra parentesi quadre come parole di riferimento e restituisce 3 eliminazioni su 5 parole, pari a un WER del 60%. La modifica integrata documenta l’opzione di ricalcolo. Modifica al sistema di valutazione Open ASR

Test per registrazione

Raggruppa le 18,760 clip abbinate in base alla registrazione originale indicata nell’ID della clip GigaSpeech. Per ciascuno dei 131 gruppi, escludi tutte le relative clip da entrambi i sistemi e ricalcola il divario usando le parole di riferimento rimanenti. Il divario è il WER di 0.6B meno il WER di 3B. Con i riferimenti ripuliti e il sistema di valutazione più recente, il divario sull’intero insieme è 100 × (29,336 − 27,506) / 397,143, pari a 0.460791 punti percentuali. I 131 risultati ottenuti escludendo un gruppo alla volta variano da 0.430797 a 0.478149 punti percentuali. In ogni caso, l’ordine dei sistemi resta lo stesso. Questo verifica la sensibilità del risultato a una registrazione alla volta nell’insieme abbinato. Identificatori delle registrazioni e dei segmenti di GigaSpeech