Читать статью · Скачать данные исследования (Markdown)
Данные для проверки оценки расшифровок
В примерах ниже используются вымышленные тексты или сводные результаты заявок на публичные тесты. Для расчёта доли ошибок в словах (WER) общее число вставок, удалений и замен делят на число слов в эталонном тексте. Чтобы выразить результат в процентах, умножьте его на 100. Оценка и выравнивание в JiWER
Пример с отрезками
Эталонные отрезки: turn left и then stop. Полученные отрезки: turn left then и stop. При отдельной оценке отрезков система учитывает вставку и удаление слова then. Это 2 ошибки на 4 слова в эталонном тексте, или 50%. При объединении отрезков с обеих сторон получается turn left then stop: ни одной ошибки на 4 слова. Здесь сравнивается текст в предоставленных отрезках. Чтобы проверить, когда слова звучат в записи, нужно свериться с аудио и временными метками. Выравнивание в JiWER
Пример с фрагментом тишины
Это сводные показатели для вымышленных фрагментов. В 2 фрагментах с речью содержится 8 слов эталонного текста. В третьем фрагменте подтверждено отсутствие речи, поэтому он не добавляет слов к эталонному тексту.
| Оценённые фрагменты | Ошибки в словах системы A | Ошибки в словах системы B | Слова в эталонном тексте | WER системы A | WER системы B |
|---|---|---|---|---|---|
| 2 фрагмента с речью | 0 | 1 | 8 | 0% | 12.5% |
| 2 фрагмента с речью и 1 фрагмент тишины | 2 | 1 | 8 | 25% | 12.5% |
Система A выдала 2 слова для фрагмента тишины. Система B оставила его пустым. Указывайте подтверждённые фрагменты тишины с лишними словами отдельно от сводного показателя WER. Присвойте фрагментам без эталонного текста отдельный статус. Правила JiWER 4 для пустого эталонного текста
Тест удаления знаков препинания
JiWER 4.0.0 применили к 2 парам вымышленных текстов, используя необязательное удаление знаков препинания с обеих сторон. После обработки offset -5 meters и offset 5 meters становятся одинаковыми. То же происходит с offset 1.5 meters и offset 15 meters. В обоих сравнениях после преобразования WER составляет 0%. При этом исходные числовые значения в обеих парах различаются. Удаление знаков препинания в JiWER
Тест Whisper
В отдельном вымышленном примере нормализатор английского текста из зафиксированной версии Whisper преобразует offset negative one point five meters в offset -one.5 meters. Неизменяемый текст, предсказанный моделью, после одной очистки имеет вид offset one.5 meters. Тексты различаются на 1 слово из 3, что даёт WER 33.3%. При повторной обработке сохранённый эталонный текст преобразуется в offset one.5 meters. При сравнении с тем же предсказанным текстом число ошибок становится равным нулю. Этот повторный расчёт проверяет оценку текста. Релиз Whisper · Зафиксированная версия нормализатора английского текста
Сравнение оценок
Сопоставьте сохранённые результаты двух моделей и очищенную часть GigaSpeech по идентификаторам фрагментов. Обе заявки с результатами моделей содержат одинаковые идентификаторы фрагментов и совпадают по исходному эталонному тексту для каждого фрагмента. Пересечение с очищенной частью содержит 18,760 фрагментов. Оцените этот же набор с исходными и очищенными эталонными текстами. Для каждой модели используйте один и тот же сохранённый предсказанный текст при оценке обеими версиями системы. Каждая версия использует собственную нормализацию английского текста. Для выравнивания используется Kaldialign 0.12.0 с включённым объединением составных слов. Перед делением суммируйте ошибки и слова эталонного текста по всем сопоставленным фрагментам.
Версии системы оценки: edd68424736537b6d0191be325ae3605c33de284 и f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Ранняя версия системы оценки · Обновлённая версия системы оценки
| Эталонные тексты | Модель | Ошибки / слова по ранней версии | WER по ранней версии | Ошибки / слова по обновлённой версии | WER по обновлённой версии |
|---|---|---|---|---|---|
| Исходные | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Исходные | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Очищенные | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Очищенные | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
В исходном манифесте GigaSpeech для 3B удаление 4 документированных типов маркеров знаков препинания GigaSpeech перед применением более новой нормализации восстанавливает токены эталонного и предсказанного текстов, полученные с ранней версией, во всех 19,898 строках. Для очищенных эталонных текстов показатели 0.6B округляются до одного и того же значения в процентах, при этом по обновлённым правилам получается на 5 ошибок меньше. Это повторные расчёты по сохранённым заявкам одного автора. Они показывают влияние правил на эти результаты при зафиксированных настройках оценки. Предварительная обработка текста GigaSpeech
Зафиксированная заявка 3B · Зафиксированная заявка 0.6B · Зафиксированные очищенные эталонные тексты
Тест сохранённой оценки
Вымышленный эталонный текст: we [need to leave] now. Предсказанный текст: we now. Ранняя версия системы оценки удаляет 3 слова в квадратных скобках и оценивает пару с WER 0%. Если сохранить файл оценки, обновлённая версия возвращает 0% и не выравнивает ни одной пары. При запросе пересчёта она выравнивает 1 пару, сохраняет слова в скобках в эталонном тексте и возвращает 3 удаления на 5 слов, или 60%. В принятом изменении описан параметр пересчёта. Изменение системы оценки Open ASR
Тест влияния записи
Сгруппируйте 18,760 сопоставленных фрагментов по исходной записи, указанной в идентификаторе фрагмента GigaSpeech. Для каждой из 131 групп исключите все её фрагменты из результатов обеих систем и пересчитайте разницу по оставшимся словам эталонного текста. Разница рассчитывается как WER модели 0.6B минус WER модели 3B. При использовании очищенных эталонных текстов и более новой версии системы оценки разница для полного набора составляет 100 × (29,336 − 27,506) / 397,143, или 0.460791 процентного пункта. Результаты 131 расчётов с исключением групп находятся в диапазоне от 0.430797 до 0.478149 процентного пункта. При каждом исключении порядок моделей сохраняется. Эта проверка показывает, как на результат для сопоставленного набора влияет исключение одной записи за раз. Идентификаторы записей и отрезков GigaSpeech