# Come verificare il punteggio di una trascrizione prima di accettare la consegna

Chiedi l’elenco delle clip, il testo di riferimento, le trascrizioni consegnate e le impostazioni di valutazione. Il tasso di errore sulle parole conta quante parole sono state sostituite, omesse o aggiunte ogni 100 parole del testo di riferimento. Anche un tasso basso può nascondere errori importanti per il lavoro, come un segno meno mancante o una parola nella parte sbagliata di una registrazione. Verifica questi dettagli prima di accettare la consegna. [Come si calcola il tasso di errore sulle parole](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Controlla che le parole siano nella parte giusta della registrazione

Supponi che il riferimento abbia due segmenti, `turn left` e `then stop`. Nella consegna trovi `turn left then` e `stop`. Unendo i segmenti si ottiene un tasso di errore dello 0%, perché le quattro parole sono nell’ordine corretto. Valutando i segmenti separatamente, il tasso sale al 50% perché `then` è stato aggiunto al primo segmento e manca nel secondo. Se i confini dei segmenti sono importanti per il lavoro, valuta ogni segmento a sé. [Esempio per segmento](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#segment-example)

## Mantieni le clip silenziose nel test

In un test di fantasia su due clip con parlato, il sistema A aveva un tasso di errore sulle parole dello 0% e il sistema B del 12,5%. Abbiamo aggiunto una clip di cui avevamo verificato il silenzio. A ha prodotto due parole nella clip e il suo tasso è salito al 25%. Quello di B è rimasto al 12,5%. Se la consegna comprende parti silenziose, indica in quante clip verificate come silenziose compare testo indesiderato. Contrassegna a parte le clip senza riferimento, così non vengono contate come silenziose. [Esempio di clip silenziosa](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Leggi i numeri nel testo originale

In un test, le regole di valutazione hanno trattato `offset -5 meters` e `offset 5 meters` come identici. Lo stesso è successo con `offset 1.5 meters` e `offset 15 meters`. In un altro test con Whisper, il primo passaggio di normalizzazione ha conservato il segno meno di «negative one point five». Il secondo lo ha eliminato. Per la stessa risposta senza segno, il tasso di errore è passato dal 33,3% allo 0%. Se i numeri sono importanti, leggili nei testi originali e registra quante volte normalizzi ciascun testo. [Test sulla punteggiatura](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test con Whisper](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#whisper-test)

## Rivaluta le stesse clip quando cambiano le regole

Abbiamo valutato le trascrizioni salvate di due modelli ARK-ASR sulle stesse 18.760 clip di GigaSpeech. Con i riferimenti originali, un aggiornamento della valutazione di Open ASR ha portato il tasso di errore del modello più grande dal 6,93% al 15,11% e quello del modello più piccolo dal 7,39% al 15,50%. Le nuove regole contavano fra le parole anche i marcatori di punteggiatura come `<COMMA>`. Con i riferimenti ripuliti per le stesse clip, i tassi dei due modelli erano rispettivamente del 6,93% e del 7,39% dopo l’arrotondamento a due decimali, con entrambe le versioni delle regole. [Confronto dei punteggi](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#score-comparison)

Quando cambiano le regole, ricalcola entrambi i punteggi con le stesse clip e gli stessi riferimenti. In un altro esempio di fantasia, il programma aggiornato ha restituito il risultato precedente da un file salvato finché non abbiamo richiesto esplicitamente un nuovo calcolo. Verifica che il calcolo sia stato eseguito di nuovo prima di confrontare i risultati. [Test del punteggio salvato](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Verifica quanto pesa una registrazione quando i risultati sono vicini

Da alcune registrazioni si ricavano molte clip. Nel test su GigaSpeech abbiamo escluso una registrazione intera alla volta e confrontato i modelli sulle clip rimanenti. Con i riferimenti ripuliti e le regole aggiornate, il modello più grande era in vantaggio di 0,46 punti percentuali sull’insieme delle 131 registrazioni. Escludendone una, il vantaggio variava tra 0,43 e 0,48 punti. Usa questo controllo per capire se una sola registrazione decide un confronto serrato. [Test per registrazione](https://sapien1.com/it/research/transcript-score-acceptance/evidence.html#recording-test)
