Leia o artigo · Baixe as evidências (Markdown)
Evidências para conferir a pontuação de transcrições
Os exemplos abaixo usam textos fictícios ou resultados agregados de submissões a benchmarks públicos. A taxa de erro de palavras (WER) é calculada dividindo o total de inserções, exclusões e substituições pelo número de palavras de referência. Multiplique o resultado por 100 para expressá-lo como porcentagem. Pontuação e alinhamento no JiWER
Exemplo com segmentos
Os segmentos de referência são turn left e then stop. Os segmentos entregues são turn left then e stop. Ao avaliar os segmentos separadamente, o sistema de pontuação conta uma inserção e uma exclusão para then. São dois erros em quatro palavras de referência, ou 50%. Ao unir os segmentos, obtém-se turn left then stop nos dois lados, sem erros em quatro palavras. Essa comparação avalia o texto nos segmentos fornecidos. Para verificar quando as palavras ocorrem na gravação, é preciso conferir o áudio e as marcações de tempo. Alinhamento no JiWER
Exemplo com trecho silencioso
Estas são taxas agregadas para trechos fictícios. Os dois trechos com fala fornecem oito palavras de referência. O terceiro trecho tem silêncio confirmado e contribui com zero palavras de referência.
| Trechos avaliados | Erros de palavras do sistema A | Erros de palavras do sistema B | Palavras de referência | WER do sistema A | WER do sistema B |
|---|---|---|---|---|---|
| Dois trechos com fala | 0 | 1 | 8 | 0% | 12.5% |
| Dois trechos com fala e um trecho silencioso | 2 | 1 | 8 | 25% | 12.5% |
O sistema A produziu duas palavras no trecho silencioso. O sistema B deixou o trecho em branco. Informe os trechos com silêncio confirmado que contêm palavras indesejadas separadamente da taxa de erro de palavras agregada. Atribua um status próprio aos trechos cujo texto de referência está ausente. Regras do JiWER 4 para referências vazias
Teste de pontuação
O JiWER 4.0.0 foi executado em dois pares de textos fictícios, com a remoção opcional de pontuação aplicada aos dois lados. offset -5 meters e offset 5 meters tornam-se idênticos. O mesmo ocorre com offset 1.5 meters e offset 15 meters. Após a transformação, ambas as comparações resultam em WER de 0%. Os campos numéricos originais são diferentes nos dois pares. Remoção de pontuação no JiWER
Teste do Whisper
Em outro exemplo fictício, o normalizador de inglês do Whisper, fixado em uma versão específica, transforma offset negative one point five meters em offset -one.5 meters. A previsão, mantida fixa após uma limpeza, é offset one.5 meters. Os textos diferem em uma palavra de um total de três, ou 33.3% de WER. Uma segunda passagem transforma a referência salva em offset one.5 meters. Na comparação com a mesma previsão, a contagem de erros passa a zero. Essa reexecução testa a pontuação do texto. Versão do Whisper · Normalizador de inglês fixado em uma versão específica
Comparação de pontuações
Associe as saídas salvas dos dois modelos à partição limpa do GigaSpeech pelo ID do trecho. As submissões dos dois modelos contêm os mesmos IDs de trecho e apresentam a mesma referência original para cada trecho. A interseção com a partição limpa contém 18,760 trechos. Avalie esse mesmo conjunto com as referências originais e as limpas. Mantenha fixo o texto de previsão salvo de cada modelo entre as avaliações. Cada revisão fornece sua própria normalização de inglês. O alinhamento usa o Kaldialign 0.12.0, com a união de palavras compostas ativada. Some os erros e as palavras de referência dos trechos associados antes de fazer a divisão.
As revisões do sistema de pontuação são edd68424736537b6d0191be325ae3605c33de284 e f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Sistema de pontuação anterior · Sistema de pontuação atualizado
| Referências | Modelo | Erros / palavras anteriores | WER anterior | Erros / palavras atualizados | WER atualizado |
|---|---|---|---|---|---|
| Original | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Original | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Limpa | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Limpa | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
No manifesto original do GigaSpeech para 3B, remover os quatro tipos documentados de marcadores de pontuação do GigaSpeech antes da normalização mais recente restaura os tokens anteriores de referência e de previsão em todas as 19,898 linhas. As taxas de 0.6B com referências limpas são arredondadas para a mesma porcentagem, com cinco erros a menos pelas regras atualizadas. Essas reexecuções usam submissões salvas de um único fornecedor. Elas demonstram o efeito sobre essas saídas com as configurações de pontuação fixadas. Pré-processamento de texto do GigaSpeech
Submissão 3B fixada em uma versão específica · Submissão 0.6B fixada em uma versão específica · Referências limpas fixadas em uma versão específica
Teste da pontuação salva
A referência fictícia é we [need to leave] now. A previsão é we now. O sistema de pontuação anterior remove as três palavras entre colchetes e atribui ao par uma WER de 0%. Quando o arquivo de pontuação é mantido, o sistema atualizado retorna 0% e não alinha nenhum par. Quando o recálculo é solicitado, ele alinha um par, mantém as palavras entre colchetes como palavras de referência e retorna três exclusões em cinco palavras, ou 60%. A alteração incorporada documenta a opção de recálculo. Alteração na pontuação do Open ASR
Teste por gravação
Agrupe os 18,760 trechos associados pela gravação original codificada no ID do trecho do GigaSpeech. Para cada um dos 131 grupos, exclua todos os seus trechos dos dois sistemas e recalcule a diferença usando as palavras de referência restantes. A diferença é a WER do modelo 0.6B menos a WER do modelo 3B. Com referências limpas e o sistema de pontuação mais recente, a diferença no conjunto completo é 100 × (29,336 − 27,506) / 397,143, ou 0.460791 pontos percentuais. Os 131 resultados obtidos com as exclusões variam de 0.430797 a 0.478149 pontos percentuais. A ordem entre os modelos se mantém em todas as exclusões. Esse teste verifica a sensibilidade à exclusão de uma gravação por vez no conjunto associado. Identificadores de gravação e segmento do GigaSpeech