Lee el artículo · Descarga la evidencia (Markdown)

Evidencia para comprobar la puntuación de transcripciones

Los siguientes ejemplos usan textos inventados o resultados agregados de envíos a pruebas de referencia públicas. La tasa de error de palabras (WER) divide el total de inserciones, eliminaciones y sustituciones por el número de palabras de referencia. Multiplica el resultado por 100 para expresarlo como porcentaje. Puntuación y alineación con JiWER

Ejemplo de segmentos

Los segmentos de referencia son turn left y then stop. Los segmentos entregados son turn left then y stop. Al evaluar los segmentos por separado, el evaluador cuenta una inserción y una eliminación de then. Son dos errores entre cuatro palabras de referencia, es decir, un 50%. Al unir los segmentos se obtiene turn left then stop en ambos casos, sin errores entre cuatro palabras. Esta comparación se basa en el texto de los segmentos proporcionados. Para verificar cuándo aparecen las palabras en la grabación, hay que comprobar el audio y las marcas de tiempo. Alineación con JiWER

Ejemplo de clip silencioso

Estas son tasas agregadas de clips inventados. Los dos clips con habla aportan ocho palabras de referencia. Se ha comprobado que el tercer clip es silencioso y aporta cero palabras de referencia.

Clips puntuadosErrores de palabras del sistema AErrores de palabras del sistema BPalabras de referenciaWER de AWER de B
Dos clips con habla0180%12.5%
Dos clips con habla y un clip silencioso21825%12.5%

A produjo dos palabras en el clip silencioso. B lo dejó vacío. Informa de los clips cuya ausencia de habla se haya verificado y que contengan palabras no deseadas por separado de la tasa de error de palabras agregada. Asigna un estado propio a los clips a los que les falte texto de referencia. Reglas de JiWER 4 para referencias vacías

Prueba de puntuación

Se ejecutó JiWER 4.0.0 sobre dos pares de textos inventados, aplicando a ambos lados la eliminación opcional de signos de puntuación. offset -5 meters y offset 5 meters pasan a ser idénticos. Lo mismo ocurre con offset 1.5 meters y offset 15 meters. Tras la transformación, ambas comparaciones dan una WER del 0%. Los campos numéricos originales difieren en ambos pares. Eliminación de signos de puntuación en JiWER

Prueba de Whisper

En otro ejemplo ficticio, la versión fijada del normalizador de inglés de Whisper transforma offset negative one point five meters en offset -one.5 meters. La predicción, que se mantiene fija tras una limpieza, es offset one.5 meters. Los textos difieren en una de las tres palabras, lo que supone una WER del 33.3%. Una segunda pasada transforma la referencia guardada en offset one.5 meters. Frente a la misma predicción, el número de errores pasa a ser cero. Esta repetición prueba la puntuación del texto. Versión de Whisper · Versión fijada del normalizador de inglés

Comparación de puntuaciones

Relaciona las salidas guardadas de los dos modelos con la partición depurada de GigaSpeech mediante el identificador de cada clip. Los envíos de los dos modelos contienen los mismos identificadores de clips y coinciden en la referencia original de cada uno. La intersección con la partición depurada contiene 18,760 clips. Puntúa ese mismo conjunto con las referencias originales y las depuradas. Mantén fijo el texto de predicción guardado de cada modelo entre evaluadores. Cada revisión aporta su propia normalización del inglés. La alineación usa Kaldialign 0.12.0 con la fusión de palabras compuestas activada. Suma los errores y las palabras de referencia de los clips relacionados antes de dividir.

Las revisiones de puntuación son edd68424736537b6d0191be325ae3605c33de284 y f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Evaluador anterior · Evaluador actualizado

ReferenciasModeloErrores / palabras anterioresWER anteriorErrores / palabras actualizadosWER actualizado
OriginalARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
OriginalARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
DepuradaARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
DepuradaARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

En el manifiesto original de GigaSpeech de 3B, eliminar los cuatro tipos documentados de marcadores de puntuación de GigaSpeech antes de aplicar la normalización más reciente recupera los tokens anteriores de referencia y predicción en las 19,898 filas. Las tasas de 0.6B con referencias depuradas se redondean al mismo porcentaje, con cinco errores menos según las reglas actualizadas. Se trata de repeticiones de envíos guardados de un mismo publicador. Estas establecen el efecto sobre esas salidas con la configuración de puntuación fijada. Preprocesamiento de texto de GigaSpeech

Versión fijada del envío de 3B · Versión fijada del envío de 0.6B · Versión fijada de las referencias depuradas

Prueba de puntuación guardada

La referencia ficticia es we [need to leave] now. La predicción es we now. El evaluador anterior elimina las tres palabras entre corchetes y asigna al par una WER del 0%. Al conservar el archivo de puntuación, el evaluador actualizado devuelve 0% y no alinea ningún par. Cuando se solicita el recálculo, alinea un par, conserva las palabras entre corchetes como palabras de referencia y devuelve tres eliminaciones entre cinco palabras, es decir, un 60%. El cambio incorporado documenta la opción de recálculo. Cambio en la puntuación de Open ASR

Prueba por grabación

Agrupa los 18,760 clips relacionados según la grabación original codificada en el identificador de clip de GigaSpeech. Para cada uno de los 131 grupos, omite todos sus clips de ambos sistemas y vuelve a calcular la diferencia con las palabras de referencia restantes. La diferencia es la WER de 0.6B menos la WER de 3B. Con las referencias depuradas y el evaluador más reciente, la diferencia para el conjunto completo es 100 × (29,336 − 27,506) / 397,143, es decir, 0.460791 puntos porcentuales. Los 131 resultados obtenidos al omitir cada grupo van de 0.430797 a 0.478149 puntos porcentuales. En todos los casos se mantiene el mismo orden. Esto comprueba la sensibilidad a cada grabación por separado dentro del conjunto de clips relacionados. Identificadores de grabaciones y segmentos de GigaSpeech