Pular para o conteúdo principal

Menu

Pesquisa

Como conferir a pontuação de uma transcrição antes de aceitar a entrega

Idioma: Português (Brasil)

Peça a lista de trechos, o texto de referência, as transcrições entregues e as configurações de avaliação. A taxa de erro por palavra conta quantas palavras foram substituídas, omitidas ou acrescentadas a cada 100 palavras do texto de referência. Uma taxa baixa ainda pode esconder erros importantes para o trabalho, como a perda de um sinal de menos ou uma palavra na parte errada da gravação. Confira esses detalhes antes de aceitar a entrega. Como se calcula a taxa de erro por palavra

Confira se as palavras estão na parte certa da gravação

Suponha que a referência tenha dois segmentos, turn left e then stop. Na entrega, eles aparecem como turn left then e stop. Ao juntar os segmentos, a taxa de erro é de 0%, pois as quatro palavras estão na ordem certa. Ao avaliá-los separadamente, a taxa é de 50% porque then foi acrescentado ao primeiro segmento e está ausente no segundo. Se os limites dos segmentos forem importantes para o trabalho, avalie cada segmento separadamente. Exemplo por segmento

Inclua os trechos silenciosos no teste

Em um teste fictício com dois trechos de fala, a taxa de erro por palavra foi de 0% para o sistema A e de 12,5% para o sistema B. Acrescentamos um trecho cujo silêncio foi verificado. O sistema A produziu duas palavras nesse trecho, e sua taxa subiu para 25%. A taxa do sistema B permaneceu em 12,5%. Se a entrega incluir silêncio, informe em quantos trechos confirmados como silenciosos aparece texto indesejado. Marque separadamente os trechos sem texto de referência para que eles não contem como silêncio. Exemplo de trecho silencioso

Confira os números no texto original

Em um teste, as regras de avaliação trataram offset -5 meters e offset 5 meters como iguais. O mesmo ocorreu com offset 1.5 meters e offset 15 meters. Em outro teste, com o Whisper, a primeira normalização preservou o sinal de menos de “negative one point five”. A segunda normalização removeu o sinal, e a taxa de erro para a mesma resposta sem sinal caiu de 33,3% para 0%. Quando os números forem importantes, confira-os nos textos originais e registre quantas vezes cada texto foi normalizado. Teste de pontuação · Teste com o Whisper

Reavalie os mesmos trechos quando as regras mudarem

Avaliamos as transcrições salvas de dois modelos ARK-ASR nos mesmos 18.760 trechos do GigaSpeech. Com as transcrições de referência originais, uma atualização do Open ASR elevou a taxa de erro do modelo maior de 6,93% para 15,11% e a do menor de 7,39% para 15,50%. As novas regras contaram entre as palavras os marcadores de pontuação como <COMMA>. Com as referências limpas para os mesmos trechos, as taxas dos modelos foram de 6,93% e 7,39%, respectivamente, após o arredondamento para duas casas decimais, nas duas versões das regras. Comparação das pontuações

Se as regras mudarem, recalcule as duas pontuações com os mesmos trechos e referências. Em outro exemplo fictício, o programa de avaliação atualizado recuperou o resultado anterior de um arquivo salvo até pedirmos expressamente um novo cálculo. Confirme que o programa calculou as pontuações de novo antes de comparar os resultados. Teste da pontuação salva

Veja quanto uma gravação pesa quando os resultados são próximos

Algumas gravações rendem muitos trechos. No teste com o GigaSpeech, excluímos uma gravação inteira de cada vez e comparamos os modelos nos trechos restantes. Com as referências limpas e as regras mais recentes, o modelo maior ficou 0,46 ponto percentual à frente no conjunto das 131 gravações. Ao excluir uma gravação, a vantagem ficou entre 0,43 e 0,48 ponto. Use essa verificação para saber se uma única gravação decide uma comparação apertada. Teste por gravação