Исследования
Как проверить оценку расшифровки перед приёмкой
Запросите список фрагментов, эталонный текст для оценки, сданные расшифровки и настройки оценки. Показатель ошибок в словах отражает число заменённых, пропущенных и добавленных слов на 100 слов эталона. Даже низкий показатель может скрывать важные для задачи ошибки, например потерянный знак минус или слово не в той части записи. Проверьте эти детали перед приёмкой. Как рассчитывают показатель ошибок в словах
Проверьте, в нужной ли части записи находятся слова
Допустим, эталон состоит из двух отрезков, turn left и then stop. В сданной расшифровке они выглядят как turn left then и stop. Если соединить отрезки, показатель ошибок равен 0%, поскольку все четыре слова идут по порядку. При оценке по отдельности он равен 50%, потому что then добавлено в первый отрезок и отсутствует во втором. Если границы важны для задачи, оценивайте каждый отрезок отдельно. Пример оценки по отрезкам
Включайте в тест тихие фрагменты
В условном тесте на двух фрагментах с речью показатель ошибок системы A составил 0%, а системы B — 12,5%. Мы добавили один фрагмент, в котором подтвердили отсутствие звука. Система A выдала для него два слова, и её показатель вырос до 25%. У системы B он остался на уровне 12,5%. Если в сданном материале есть тишина, укажите, в скольких подтверждённо тихих фрагментах появился лишний текст. Отмечайте фрагменты без эталонного текста отдельно, чтобы не считать их тишиной. Пример тихого фрагмента
Сверяйте числа с исходным текстом
В одном тесте правила оценки посчитали одинаковыми offset -5 meters и offset 5 meters, а также offset 1.5 meters и offset 15 meters. В отдельном тесте Whisper первая нормализация сохранила знак минус в выражении «negative one point five». Повторная нормализация убрала знак, и показатель ошибок для того же ответа без знака упал с 33,3% до 0%. Если числа важны, проверяйте их в исходных текстах и записывайте, сколько раз нормализовали каждый текст. Проверка пунктуации · Тест Whisper
Заново оценивайте те же фрагменты при изменении правил
Мы оценили сохранённые расшифровки двух моделей ARK-ASR на тех же 18 760 фрагментах GigaSpeech. С исходными эталонами после обновления Open ASR показатель ошибок у большей модели вырос с 6,93% до 15,11%, а у меньшей — с 7,39% до 15,50%. Новые правила считали метки пунктуации вроде <COMMA> отдельными словами. С очищенными эталонами для тех же фрагментов показатели обеих моделей после округления до двух знаков составили соответственно 6,93% и 7,39% по обеим версиям правил. Сравнение оценок
Если правила изменились, пересчитайте обе оценки на одних и тех же фрагментах и эталонах. В отдельном условном примере обновлённая программа возвращала прежнюю оценку из сохранённого файла, пока мы явно не запросили пересчёт. Перед сравнением проверьте, что программа действительно запустила расчёт заново. Тест сохранённой оценки
Проверьте, насколько одна запись влияет на близкий результат
Из некоторых записей получается много фрагментов. В тесте GigaSpeech мы каждый раз исключали одну целую запись и сравнивали модели на оставшихся фрагментах. С очищенными эталонами и новыми правилами показатель большей модели был ниже на 0,46 процентного пункта на всех 131 записях. При исключении одной записи разница составляла от 0,43 до 0,48 пункта. Такая проверка показывает, решает ли одна запись исход сравнения при близких результатах. Проверка по записям