Ricerca
Come verificare il punteggio di una trascrizione prima di accettare la consegna
Chiedi l’elenco delle clip, il testo di riferimento, le trascrizioni consegnate e le impostazioni di valutazione. Il tasso di errore sulle parole conta quante parole sono state sostituite, omesse o aggiunte ogni 100 parole del testo di riferimento. Anche un tasso basso può nascondere errori importanti per il lavoro, come un segno meno mancante o una parola nella parte sbagliata di una registrazione. Verifica questi dettagli prima di accettare la consegna. Come si calcola il tasso di errore sulle parole
Controlla che le parole siano nella parte giusta della registrazione
Supponi che il riferimento abbia due segmenti, turn left e then stop. Nella consegna trovi turn left then e stop. Unendo i segmenti si ottiene un tasso di errore dello 0%, perché le quattro parole sono nell’ordine corretto. Valutando i segmenti separatamente, il tasso sale al 50% perché then è stato aggiunto al primo segmento e manca nel secondo. Se i confini dei segmenti sono importanti per il lavoro, valuta ogni segmento a sé. Esempio per segmento
Mantieni le clip silenziose nel test
In un test di fantasia su due clip con parlato, il sistema A aveva un tasso di errore sulle parole dello 0% e il sistema B del 12,5%. Abbiamo aggiunto una clip di cui avevamo verificato il silenzio. A ha prodotto due parole nella clip e il suo tasso è salito al 25%. Quello di B è rimasto al 12,5%. Se la consegna comprende parti silenziose, indica in quante clip verificate come silenziose compare testo indesiderato. Contrassegna a parte le clip senza riferimento, così non vengono contate come silenziose. Esempio di clip silenziosa
Leggi i numeri nel testo originale
In un test, le regole di valutazione hanno trattato offset -5 meters e offset 5 meters come identici. Lo stesso è successo con offset 1.5 meters e offset 15 meters. In un altro test con Whisper, il primo passaggio di normalizzazione ha conservato il segno meno di «negative one point five». Il secondo lo ha eliminato. Per la stessa risposta senza segno, il tasso di errore è passato dal 33,3% allo 0%. Se i numeri sono importanti, leggili nei testi originali e registra quante volte normalizzi ciascun testo. Test sulla punteggiatura · Test con Whisper
Rivaluta le stesse clip quando cambiano le regole
Abbiamo valutato le trascrizioni salvate di due modelli ARK-ASR sulle stesse 18.760 clip di GigaSpeech. Con i riferimenti originali, un aggiornamento della valutazione di Open ASR ha portato il tasso di errore del modello più grande dal 6,93% al 15,11% e quello del modello più piccolo dal 7,39% al 15,50%. Le nuove regole contavano fra le parole anche i marcatori di punteggiatura come <COMMA>. Con i riferimenti ripuliti per le stesse clip, i tassi dei due modelli erano rispettivamente del 6,93% e del 7,39% dopo l’arrotondamento a due decimali, con entrambe le versioni delle regole. Confronto dei punteggi
Quando cambiano le regole, ricalcola entrambi i punteggi con le stesse clip e gli stessi riferimenti. In un altro esempio di fantasia, il programma aggiornato ha restituito il risultato precedente da un file salvato finché non abbiamo richiesto esplicitamente un nuovo calcolo. Verifica che il calcolo sia stato eseguito di nuovo prima di confrontare i risultati. Test del punteggio salvato
Verifica quanto pesa una registrazione quando i risultati sono vicini
Da alcune registrazioni si ricavano molte clip. Nel test su GigaSpeech abbiamo escluso una registrazione intera alla volta e confrontato i modelli sulle clip rimanenti. Con i riferimenti ripuliti e le regole aggiornate, il modello più grande era in vantaggio di 0,46 punti percentuali sull’insieme delle 131 registrazioni. Escludendone una, il vantaggio variava tra 0,43 e 0,48 punti. Usa questo controllo per capire se una sola registrazione decide un confronto serrato. Test per registrazione