Читать статью · Скачать данные исследования (Markdown)

Данные для проверки оценки расшифровок

В примерах ниже используются вымышленные тексты или сводные результаты заявок на публичные тесты. Для расчёта доли ошибок в словах (WER) общее число вставок, удалений и замен делят на число слов в эталонном тексте. Чтобы выразить результат в процентах, умножьте его на 100. Оценка и выравнивание в JiWER

Пример с отрезками

Эталонные отрезки: turn left и then stop. Полученные отрезки: turn left then и stop. При отдельной оценке отрезков система учитывает вставку и удаление слова then. Это 2 ошибки на 4 слова в эталонном тексте, или 50%. При объединении отрезков с обеих сторон получается turn left then stop: ни одной ошибки на 4 слова. Здесь сравнивается текст в предоставленных отрезках. Чтобы проверить, когда слова звучат в записи, нужно свериться с аудио и временными метками. Выравнивание в JiWER

Пример с фрагментом тишины

Это сводные показатели для вымышленных фрагментов. В 2 фрагментах с речью содержится 8 слов эталонного текста. В третьем фрагменте подтверждено отсутствие речи, поэтому он не добавляет слов к эталонному тексту.

Оценённые фрагментыОшибки в словах системы AОшибки в словах системы BСлова в эталонном текстеWER системы AWER системы B
2 фрагмента с речью0180%12.5%
2 фрагмента с речью и 1 фрагмент тишины21825%12.5%

Система A выдала 2 слова для фрагмента тишины. Система B оставила его пустым. Указывайте подтверждённые фрагменты тишины с лишними словами отдельно от сводного показателя WER. Присвойте фрагментам без эталонного текста отдельный статус. Правила JiWER 4 для пустого эталонного текста

Тест удаления знаков препинания

JiWER 4.0.0 применили к 2 парам вымышленных текстов, используя необязательное удаление знаков препинания с обеих сторон. После обработки offset -5 meters и offset 5 meters становятся одинаковыми. То же происходит с offset 1.5 meters и offset 15 meters. В обоих сравнениях после преобразования WER составляет 0%. При этом исходные числовые значения в обеих парах различаются. Удаление знаков препинания в JiWER

Тест Whisper

В отдельном вымышленном примере нормализатор английского текста из зафиксированной версии Whisper преобразует offset negative one point five meters в offset -one.5 meters. Неизменяемый текст, предсказанный моделью, после одной очистки имеет вид offset one.5 meters. Тексты различаются на 1 слово из 3, что даёт WER 33.3%. При повторной обработке сохранённый эталонный текст преобразуется в offset one.5 meters. При сравнении с тем же предсказанным текстом число ошибок становится равным нулю. Этот повторный расчёт проверяет оценку текста. Релиз Whisper · Зафиксированная версия нормализатора английского текста

Сравнение оценок

Сопоставьте сохранённые результаты двух моделей и очищенную часть GigaSpeech по идентификаторам фрагментов. Обе заявки с результатами моделей содержат одинаковые идентификаторы фрагментов и совпадают по исходному эталонному тексту для каждого фрагмента. Пересечение с очищенной частью содержит 18,760 фрагментов. Оцените этот же набор с исходными и очищенными эталонными текстами. Для каждой модели используйте один и тот же сохранённый предсказанный текст при оценке обеими версиями системы. Каждая версия использует собственную нормализацию английского текста. Для выравнивания используется Kaldialign 0.12.0 с включённым объединением составных слов. Перед делением суммируйте ошибки и слова эталонного текста по всем сопоставленным фрагментам.

Версии системы оценки: edd68424736537b6d0191be325ae3605c33de284 и f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Ранняя версия системы оценки · Обновлённая версия системы оценки

Эталонные текстыМодельОшибки / слова по ранней версииWER по ранней версииОшибки / слова по обновлённой версииWER по обновлённой версии
ИсходныеARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
ИсходныеARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
ОчищенныеARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
ОчищенныеARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

В исходном манифесте GigaSpeech для 3B удаление 4 документированных типов маркеров знаков препинания GigaSpeech перед применением более новой нормализации восстанавливает токены эталонного и предсказанного текстов, полученные с ранней версией, во всех 19,898 строках. Для очищенных эталонных текстов показатели 0.6B округляются до одного и того же значения в процентах, при этом по обновлённым правилам получается на 5 ошибок меньше. Это повторные расчёты по сохранённым заявкам одного автора. Они показывают влияние правил на эти результаты при зафиксированных настройках оценки. Предварительная обработка текста GigaSpeech

Зафиксированная заявка 3B · Зафиксированная заявка 0.6B · Зафиксированные очищенные эталонные тексты

Тест сохранённой оценки

Вымышленный эталонный текст: we [need to leave] now. Предсказанный текст: we now. Ранняя версия системы оценки удаляет 3 слова в квадратных скобках и оценивает пару с WER 0%. Если сохранить файл оценки, обновлённая версия возвращает 0% и не выравнивает ни одной пары. При запросе пересчёта она выравнивает 1 пару, сохраняет слова в скобках в эталонном тексте и возвращает 3 удаления на 5 слов, или 60%. В принятом изменении описан параметр пересчёта. Изменение системы оценки Open ASR

Тест влияния записи

Сгруппируйте 18,760 сопоставленных фрагментов по исходной записи, указанной в идентификаторе фрагмента GigaSpeech. Для каждой из 131 групп исключите все её фрагменты из результатов обеих систем и пересчитайте разницу по оставшимся словам эталонного текста. Разница рассчитывается как WER модели 0.6B минус WER модели 3B. При использовании очищенных эталонных текстов и более новой версии системы оценки разница для полного набора составляет 100 × (29,336 − 27,506) / 397,143, или 0.460791 процентного пункта. Результаты 131 расчётов с исключением групп находятся в диапазоне от 0.430797 до 0.478149 процентного пункта. При каждом исключении порядок моделей сохраняется. Эта проверка показывает, как на результат для сопоставленного набора влияет исключение одной записи за раз. Идентификаторы записей и отрезков GigaSpeech