# Evidências para conferir a pontuação de transcrições

Os exemplos abaixo usam textos fictícios ou resultados agregados de submissões a benchmarks públicos. A taxa de erro de palavras (WER) é calculada dividindo o total de inserções, exclusões e substituições pelo número de palavras de referência. Multiplique o resultado por 100 para expressá-lo como porcentagem. [Pontuação e alinhamento no JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Exemplo com segmentos

Os segmentos de referência são `turn left` e `then stop`. Os segmentos entregues são `turn left then` e `stop`. Ao avaliar os segmentos separadamente, o sistema de pontuação conta uma inserção e uma exclusão para `then`. São dois erros em quatro palavras de referência, ou 50%. Ao unir os segmentos, obtém-se `turn left then stop` nos dois lados, sem erros em quatro palavras. Essa comparação avalia o texto nos segmentos fornecidos. Para verificar quando as palavras ocorrem na gravação, é preciso conferir o áudio e as marcações de tempo. [Alinhamento no JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Exemplo com trecho silencioso

Estas são taxas agregadas para trechos fictícios. Os dois trechos com fala fornecem oito palavras de referência. O terceiro trecho tem silêncio confirmado e contribui com zero palavras de referência.

| Trechos avaliados | Erros de palavras do sistema A | Erros de palavras do sistema B | Palavras de referência | WER do sistema A | WER do sistema B |
| --- | ---: | ---: | ---: | ---: | ---: |
| Dois trechos com fala | 0 | 1 | 8 | 0% | 12.5% |
| Dois trechos com fala e um trecho silencioso | 2 | 1 | 8 | 25% | 12.5% |

O sistema A produziu duas palavras no trecho silencioso. O sistema B deixou o trecho em branco. Informe os trechos com silêncio confirmado que contêm palavras indesejadas separadamente da taxa de erro de palavras agregada. Atribua um status próprio aos trechos cujo texto de referência está ausente. [Regras do JiWER 4 para referências vazias](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Teste de pontuação

O JiWER 4.0.0 foi executado em dois pares de textos fictícios, com a remoção opcional de pontuação aplicada aos dois lados. `offset -5 meters` e `offset 5 meters` tornam-se idênticos. O mesmo ocorre com `offset 1.5 meters` e `offset 15 meters`. Após a transformação, ambas as comparações resultam em WER de 0%. Os campos numéricos originais são diferentes nos dois pares. [Remoção de pontuação no JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Teste do Whisper

Em outro exemplo fictício, o normalizador de inglês do Whisper, fixado em uma versão específica, transforma `offset negative one point five meters` em `offset -one.5 meters`. A previsão, mantida fixa após uma limpeza, é `offset one.5 meters`. Os textos diferem em uma palavra de um total de três, ou 33.3% de WER. Uma segunda passagem transforma a referência salva em `offset one.5 meters`. Na comparação com a mesma previsão, a contagem de erros passa a zero. Essa reexecução testa a pontuação do texto. [Versão do Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Normalizador de inglês fixado em uma versão específica](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Comparação de pontuações

Associe as saídas salvas dos dois modelos à partição limpa do GigaSpeech pelo ID do trecho. As submissões dos dois modelos contêm os mesmos IDs de trecho e apresentam a mesma referência original para cada trecho. A interseção com a partição limpa contém **18,760 trechos**. Avalie esse mesmo conjunto com as referências originais e as limpas. Mantenha fixo o texto de previsão salvo de cada modelo entre as avaliações. Cada revisão fornece sua própria normalização de inglês. O alinhamento usa o Kaldialign 0.12.0, com a união de palavras compostas ativada. Some os erros e as palavras de referência dos trechos associados antes de fazer a divisão.

As revisões do sistema de pontuação são `edd68424736537b6d0191be325ae3605c33de284` e `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Sistema de pontuação anterior](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Sistema de pontuação atualizado](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referências | Modelo | Erros / palavras anteriores | WER anterior | Erros / palavras atualizados | WER atualizado |
| --- | --- | ---: | ---: | ---: | ---: |
| Original | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Original | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Limpa | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Limpa | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

No manifesto original do GigaSpeech para 3B, remover os quatro tipos documentados de marcadores de pontuação do GigaSpeech antes da normalização mais recente restaura os tokens anteriores de referência e de previsão em todas as 19,898 linhas. As taxas de 0.6B com referências limpas são arredondadas para a mesma porcentagem, com cinco erros a menos pelas regras atualizadas. Essas reexecuções usam submissões salvas de um único fornecedor. Elas demonstram o efeito sobre essas saídas com as configurações de pontuação fixadas. [Pré-processamento de texto do GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Submissão 3B fixada em uma versão específica](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Submissão 0.6B fixada em uma versão específica](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Referências limpas fixadas em uma versão específica](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Teste da pontuação salva

A referência fictícia é `we [need to leave] now`. A previsão é `we now`. O sistema de pontuação anterior remove as três palavras entre colchetes e atribui ao par uma WER de 0%. Quando o arquivo de pontuação é mantido, o sistema atualizado retorna 0% e não alinha nenhum par. Quando o recálculo é solicitado, ele alinha um par, mantém as palavras entre colchetes como palavras de referência e retorna três exclusões em cinco palavras, ou 60%. A alteração incorporada documenta a opção de recálculo. [Alteração na pontuação do Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Teste por gravação

Agrupe os 18,760 trechos associados pela gravação original codificada no ID do trecho do GigaSpeech. Para cada um dos 131 grupos, exclua todos os seus trechos dos dois sistemas e recalcule a diferença usando as palavras de referência restantes. A diferença é a WER do modelo 0.6B menos a WER do modelo 3B. Com referências limpas e o sistema de pontuação mais recente, a diferença no conjunto completo é `100 × (29,336 − 27,506) / 397,143`, ou **0.460791 pontos percentuais**. Os 131 resultados obtidos com as exclusões variam de **0.430797 a 0.478149 pontos percentuais**. A ordem entre os modelos se mantém em todas as exclusões. Esse teste verifica a sensibilidade à exclusão de uma gravação por vez no conjunto associado. [Identificadores de gravação e segmento do GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
