# Данные для проверки оценки расшифровок

В примерах ниже используются вымышленные тексты или сводные результаты заявок на публичные тесты. Для расчёта доли ошибок в словах (WER) общее число вставок, удалений и замен делят на число слов в эталонном тексте. Чтобы выразить результат в процентах, умножьте его на 100. [Оценка и выравнивание в JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Пример с отрезками

Эталонные отрезки: `turn left` и `then stop`. Полученные отрезки: `turn left then` и `stop`. При отдельной оценке отрезков система учитывает вставку и удаление слова `then`. Это 2 ошибки на 4 слова в эталонном тексте, или 50%. При объединении отрезков с обеих сторон получается `turn left then stop`: ни одной ошибки на 4 слова. Здесь сравнивается текст в предоставленных отрезках. Чтобы проверить, когда слова звучат в записи, нужно свериться с аудио и временными метками. [Выравнивание в JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Пример с фрагментом тишины

Это сводные показатели для вымышленных фрагментов. В 2 фрагментах с речью содержится 8 слов эталонного текста. В третьем фрагменте подтверждено отсутствие речи, поэтому он не добавляет слов к эталонному тексту.

| Оценённые фрагменты | Ошибки в словах системы A | Ошибки в словах системы B | Слова в эталонном тексте | WER системы A | WER системы B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 фрагмента с речью | 0 | 1 | 8 | 0% | 12.5% |
| 2 фрагмента с речью и 1 фрагмент тишины | 2 | 1 | 8 | 25% | 12.5% |

Система A выдала 2 слова для фрагмента тишины. Система B оставила его пустым. Указывайте подтверждённые фрагменты тишины с лишними словами отдельно от сводного показателя WER. Присвойте фрагментам без эталонного текста отдельный статус. [Правила JiWER 4 для пустого эталонного текста](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Тест удаления знаков препинания

JiWER 4.0.0 применили к 2 парам вымышленных текстов, используя необязательное удаление знаков препинания с обеих сторон. После обработки `offset -5 meters` и `offset 5 meters` становятся одинаковыми. То же происходит с `offset 1.5 meters` и `offset 15 meters`. В обоих сравнениях после преобразования WER составляет 0%. При этом исходные числовые значения в обеих парах различаются. [Удаление знаков препинания в JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Тест Whisper

В отдельном вымышленном примере нормализатор английского текста из зафиксированной версии Whisper преобразует `offset negative one point five meters` в `offset -one.5 meters`. Неизменяемый текст, предсказанный моделью, после одной очистки имеет вид `offset one.5 meters`. Тексты различаются на 1 слово из 3, что даёт WER 33.3%. При повторной обработке сохранённый эталонный текст преобразуется в `offset one.5 meters`. При сравнении с тем же предсказанным текстом число ошибок становится равным нулю. Этот повторный расчёт проверяет оценку текста. [Релиз Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Зафиксированная версия нормализатора английского текста](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Сравнение оценок

Сопоставьте сохранённые результаты двух моделей и очищенную часть GigaSpeech по идентификаторам фрагментов. Обе заявки с результатами моделей содержат одинаковые идентификаторы фрагментов и совпадают по исходному эталонному тексту для каждого фрагмента. Пересечение с очищенной частью содержит **18,760 фрагментов**. Оцените этот же набор с исходными и очищенными эталонными текстами. Для каждой модели используйте один и тот же сохранённый предсказанный текст при оценке обеими версиями системы. Каждая версия использует собственную нормализацию английского текста. Для выравнивания используется Kaldialign 0.12.0 с включённым объединением составных слов. Перед делением суммируйте ошибки и слова эталонного текста по всем сопоставленным фрагментам.

Версии системы оценки: `edd68424736537b6d0191be325ae3605c33de284` и `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Ранняя версия системы оценки](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Обновлённая версия системы оценки](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Эталонные тексты | Модель | Ошибки / слова по ранней версии | WER по ранней версии | Ошибки / слова по обновлённой версии | WER по обновлённой версии |
| --- | --- | ---: | ---: | ---: | ---: |
| Исходные | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Исходные | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Очищенные | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Очищенные | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

В исходном манифесте GigaSpeech для 3B удаление 4 документированных типов маркеров знаков препинания GigaSpeech перед применением более новой нормализации восстанавливает токены эталонного и предсказанного текстов, полученные с ранней версией, во всех 19,898 строках. Для очищенных эталонных текстов показатели 0.6B округляются до одного и того же значения в процентах, при этом по обновлённым правилам получается на 5 ошибок меньше. Это повторные расчёты по сохранённым заявкам одного автора. Они показывают влияние правил на эти результаты при зафиксированных настройках оценки. [Предварительная обработка текста GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Зафиксированная заявка 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Зафиксированная заявка 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Зафиксированные очищенные эталонные тексты](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Тест сохранённой оценки

Вымышленный эталонный текст: `we [need to leave] now`. Предсказанный текст: `we now`. Ранняя версия системы оценки удаляет 3 слова в квадратных скобках и оценивает пару с WER 0%. Если сохранить файл оценки, обновлённая версия возвращает 0% и не выравнивает ни одной пары. При запросе пересчёта она выравнивает 1 пару, сохраняет слова в скобках в эталонном тексте и возвращает 3 удаления на 5 слов, или 60%. В принятом изменении описан параметр пересчёта. [Изменение системы оценки Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Тест влияния записи

Сгруппируйте 18,760 сопоставленных фрагментов по исходной записи, указанной в идентификаторе фрагмента GigaSpeech. Для каждой из 131 групп исключите все её фрагменты из результатов обеих систем и пересчитайте разницу по оставшимся словам эталонного текста. Разница рассчитывается как WER модели 0.6B минус WER модели 3B. При использовании очищенных эталонных текстов и более новой версии системы оценки разница для полного набора составляет `100 × (29,336 − 27,506) / 397,143`, или **0.460791 процентного пункта**. Результаты 131 расчётов с исключением групп находятся в диапазоне от **0.430797 до 0.478149 процентного пункта**. При каждом исключении порядок моделей сохраняется. Эта проверка показывает, как на результат для сопоставленного набора влияет исключение одной записи за раз. [Идентификаторы записей и отрезков GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
