Saltar al contenido principal

Menú

Investigación

Cómo comprobar la puntuación de una transcripción antes de aceptar la entrega

Idioma: Español

Pide la lista de clips, el texto de referencia, las transcripciones entregadas y la configuración de la evaluación. La tasa de error de palabra cuenta las palabras sustituidas, omitidas o añadidas por cada 100 palabras de referencia. Una tasa baja puede ocultar fallos que importan para el trabajo, como un signo menos eliminado o una palabra en el tramo equivocado de la grabación. Revisa esos detalles antes de aceptar la entrega. Cómo se calcula la tasa de error de palabra

Comprueba si las palabras están en el tramo correcto de la grabación

Imagina que la referencia tiene dos segmentos, turn left y then stop. La entrega contiene turn left then y stop. Al unir los segmentos, la tasa de error es del 0 % porque las cuatro palabras conservan su orden. Al puntuarlos por separado, es del 50 % porque then se añade al primer segmento y falta en el segundo. Evalúa cada segmento por separado si sus límites importan para el trabajo. Ejemplo por segmentos

Incluye los clips silenciosos en la prueba

En una prueba ficticia con dos clips de voz, el sistema A obtuvo una tasa de error del 0 % y el B, del 12,5 %. Añadimos un clip cuyo silencio se había verificado. A generó dos palabras en ese clip y su tasa subió al 25 %. La de B se mantuvo en el 12,5 %. Si la entrega incluye silencios, indica en cuántos clips de silencio verificado aparece texto no deseado. Identifica aparte los clips sin referencia para que no se cuenten como silencios. Ejemplo de un clip silencioso

Lee las cifras en el texto original

En una prueba, las reglas de evaluación trataron offset -5 meters y offset 5 meters como idénticos. Lo mismo ocurrió con offset 1.5 meters y offset 15 meters. En otra prueba con Whisper, la primera normalización conservó el signo menos de «negative one point five». Una segunda pasada lo eliminó. Con la misma respuesta sin signo, la tasa de error pasó del 33,3 % al 0 %. Cuando importen las cifras, léelas en los textos originales y registra cuántas veces se normaliza cada texto. Prueba con signos de puntuación · Prueba de Whisper

Vuelve a puntuar los mismos clips si cambian las reglas

Puntuamos las transcripciones guardadas de dos modelos ARK-ASR sobre los mismos 18.760 clips de GigaSpeech. Con las referencias originales, una actualización de Open ASR elevó la tasa de error del modelo más grande del 6,93 % al 15,11 % y la del más pequeño del 7,39 % al 15,50 %. Las reglas nuevas contaban como palabras los marcadores de puntuación como <COMMA>. Con las referencias depuradas de esos mismos clips, las tasas de los dos modelos fueron del 6,93 % y el 7,39 %, a dos decimales, con ambos conjuntos de reglas. Comparación de resultados

Si cambian las reglas, vuelve a calcular ambos resultados con los mismos clips y referencias. En otro ejemplo ficticio, el evaluador actualizado recuperó el resultado anterior de un archivo guardado hasta que le pedimos de forma explícita que hiciera de nuevo el cálculo. Comprueba que la evaluación se haya ejecutado otra vez antes de comparar los resultados. Prueba con un resultado guardado

Mide cuánto influye una grabación cuando los resultados son parecidos

Algunas grabaciones aportan muchos clips. En la prueba con GigaSpeech, excluimos una grabación entera cada vez y comparamos los modelos con los clips restantes. Con las referencias depuradas y las reglas nuevas, el modelo más grande aventajó al pequeño en 0,46 puntos porcentuales en el conjunto de 131 grabaciones. La ventaja osciló entre 0,43 y 0,48 puntos al excluir una grabación. Haz esta comprobación si quieres saber si una sola grabación decide una comparación ajustada. Prueba por grabación