# Como conferir a pontuação de uma transcrição antes de aceitar a entrega

Peça a lista de trechos, o texto de referência, as transcrições entregues e as configurações de avaliação. A taxa de erro por palavra conta quantas palavras foram substituídas, omitidas ou acrescentadas a cada 100 palavras do texto de referência. Uma taxa baixa ainda pode esconder erros importantes para o trabalho, como a perda de um sinal de menos ou uma palavra na parte errada da gravação. Confira esses detalhes antes de aceitar a entrega. [Como se calcula a taxa de erro por palavra](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Confira se as palavras estão na parte certa da gravação

Suponha que a referência tenha dois segmentos, `turn left` e `then stop`. Na entrega, eles aparecem como `turn left then` e `stop`. Ao juntar os segmentos, a taxa de erro é de 0%, pois as quatro palavras estão na ordem certa. Ao avaliá-los separadamente, a taxa é de 50% porque `then` foi acrescentado ao primeiro segmento e está ausente no segundo. Se os limites dos segmentos forem importantes para o trabalho, avalie cada segmento separadamente. [Exemplo por segmento](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#segment-example)

## Inclua os trechos silenciosos no teste

Em um teste fictício com dois trechos de fala, a taxa de erro por palavra foi de 0% para o sistema A e de 12,5% para o sistema B. Acrescentamos um trecho cujo silêncio foi verificado. O sistema A produziu duas palavras nesse trecho, e sua taxa subiu para 25%. A taxa do sistema B permaneceu em 12,5%. Se a entrega incluir silêncio, informe em quantos trechos confirmados como silenciosos aparece texto indesejado. Marque separadamente os trechos sem texto de referência para que eles não contem como silêncio. [Exemplo de trecho silencioso](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Confira os números no texto original

Em um teste, as regras de avaliação trataram `offset -5 meters` e `offset 5 meters` como iguais. O mesmo ocorreu com `offset 1.5 meters` e `offset 15 meters`. Em outro teste, com o Whisper, a primeira normalização preservou o sinal de menos de “negative one point five”. A segunda normalização removeu o sinal, e a taxa de erro para a mesma resposta sem sinal caiu de 33,3% para 0%. Quando os números forem importantes, confira-os nos textos originais e registre quantas vezes cada texto foi normalizado. [Teste de pontuação](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Teste com o Whisper](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#whisper-test)

## Reavalie os mesmos trechos quando as regras mudarem

Avaliamos as transcrições salvas de dois modelos ARK-ASR nos mesmos 18.760 trechos do GigaSpeech. Com as transcrições de referência originais, uma atualização do Open ASR elevou a taxa de erro do modelo maior de 6,93% para 15,11% e a do menor de 7,39% para 15,50%. As novas regras contaram entre as palavras os marcadores de pontuação como `<COMMA>`. Com as referências limpas para os mesmos trechos, as taxas dos modelos foram de 6,93% e 7,39%, respectivamente, após o arredondamento para duas casas decimais, nas duas versões das regras. [Comparação das pontuações](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#score-comparison)

Se as regras mudarem, recalcule as duas pontuações com os mesmos trechos e referências. Em outro exemplo fictício, o programa de avaliação atualizado recuperou o resultado anterior de um arquivo salvo até pedirmos expressamente um novo cálculo. Confirme que o programa calculou as pontuações de novo antes de comparar os resultados. [Teste da pontuação salva](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Veja quanto uma gravação pesa quando os resultados são próximos

Algumas gravações rendem muitos trechos. No teste com o GigaSpeech, excluímos uma gravação inteira de cada vez e comparamos os modelos nos trechos restantes. Com as referências limpas e as regras mais recentes, o modelo maior ficou 0,46 ponto percentual à frente no conjunto das 131 gravações. Ao excluir uma gravação, a vantagem ficou entre 0,43 e 0,48 ponto. Use essa verificação para saber se uma única gravação decide uma comparação apertada. [Teste por gravação](https://sapien1.com/pt-BR/research/transcript-score-acceptance/evidence.html#recording-test)
