Przeczytaj artykuł · Pobierz materiały źródłowe (Markdown)

Materiały źródłowe do sprawdzania wyników oceny transkrypcji

Poniższe przykłady wykorzystują wymyślony tekst lub zbiorcze wyniki publicznych zgłoszeń do testów porównawczych. Współczynnik błędów słów (WER) to suma wstawień, pominięć i zamian podzielona przez liczbę słów w tekście referencyjnym. Pomnóż wynik przez 100, aby wyrazić go w procentach. Ocena i dopasowanie w JiWER

Przykład segmentów

Segmenty referencyjne to turn left i then stop. Dostarczone segmenty to turn left then i stop. Przy ocenie oddzielnych segmentów algorytm zlicza wstawienie i pominięcie słowa then. Daje to dwa błędy na cztery słowa referencyjne, czyli 50%. Po połączeniu segmentów po obu stronach otrzymujemy turn left then stop, bez błędów na cztery słowa. Porównanie dotyczy tekstu w dostarczonych segmentach. Aby sprawdzić, kiedy słowa padają w nagraniu, trzeba sprawdzić dźwięk i znaczniki czasu. Dopasowanie w JiWER

Przykład cichego fragmentu

Są to zbiorcze współczynniki dla wymyślonych fragmentów. Dwa fragmenty z mową zawierają łącznie osiem słów referencyjnych. W trzecim fragmencie potwierdzono ciszę, więc nie zawiera on słów referencyjnych.

Oceniane fragmentyBłędy słów systemu ABłędy słów systemu BSłowa referencyjneWER systemu AWER systemu B
Dwa fragmenty z mową0180%12.5%
Dwa fragmenty z mową i jeden cichy fragment21825%12.5%

System A wygenerował dwa słowa dla cichego fragmentu. System B pozostawił go pustym. Potwierdzone ciche fragmenty zawierające niepożądane słowa raportuj oddzielnie od zbiorczego współczynnika błędów słów. Fragmentom bez tekstu referencyjnego nadaj osobny status. Zasady JiWER 4 dla pustych tekstów referencyjnych

Test interpunkcji

JiWER 4.0.0 uruchomiono dla dwóch wymyślonych par tekstów, stosując opcjonalne usuwanie interpunkcji po obu stronach. Teksty offset -5 meters i offset 5 meters stają się identyczne. To samo dotyczy tekstów offset 1.5 meters i offset 15 meters. Po przekształceniu oba porównania dają WER równy 0%. W oryginalnych tekstach wartości liczbowe różnią się w obu parach. Usuwanie interpunkcji w JiWER

Test Whisper

W osobnym fikcyjnym przykładzie normalizator języka angielskiego Whisper w przypiętej wersji przekształca offset negative one point five meters w offset -one.5 meters. Stały tekst rozpoznany po jednokrotnym oczyszczeniu to offset one.5 meters. Teksty różnią się jednym słowem z trzech, co daje WER równy 33.3%. Drugie przetworzenie zmienia zapisany tekst referencyjny na offset one.5 meters. Przy porównaniu z tym samym tekstem rozpoznanym liczba błędów spada do zera. To ponowne przetworzenie sprawdza ocenę tekstu. Wydanie Whisper · Przypięta wersja normalizatora języka angielskiego

Porównanie wyników

Dopasuj zapisane wyniki obu modeli do oczyszczonego podzbioru GigaSpeech według identyfikatora fragmentu. Zgłoszenia obu modeli zawierają te same identyfikatory fragmentów i dla każdego fragmentu podają ten sam oryginalny tekst referencyjny. Część wspólna z oczyszczonym podzbiorem zawiera 18,760 fragmentów. Oceń ten sam zbiór względem oryginalnych i oczyszczonych tekstów referencyjnych. Przy użyciu obu wersji algorytmu zachowaj ten sam zapisany tekst rozpoznany przez każdy model. Każda wersja algorytmu stosuje własną normalizację języka angielskiego. Do dopasowania użyto Kaldialign 0.12.0 z włączonym łączeniem wyrazów złożonych. Przed dzieleniem zsumuj błędy i słowa referencyjne we wszystkich dopasowanych fragmentach.

Wersje algorytmu oceny to edd68424736537b6d0191be325ae3605c33de284 i f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Wcześniejsza wersja · Zaktualizowana wersja

Teksty referencyjneModelBłędy / słowa — wcześniejsza wersjaWER — wcześniejsza wersjaBłędy / słowa — zaktualizowana wersjaWER — zaktualizowana wersja
OryginalneARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
OryginalneARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
OczyszczoneARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
OczyszczoneARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

W oryginalnym manifeście GigaSpeech dla modelu 3B usunięcie czterech udokumentowanych typów znaczników interpunkcji GigaSpeech przed zastosowaniem nowszej normalizacji przywraca tokeny tekstu referencyjnego i tekstu rozpoznanego z wcześniejszej wersji we wszystkich 19,898 wierszach. Współczynniki modelu 0.6B dla oczyszczonych tekstów referencyjnych po zaokrągleniu dają tę samą wartość procentową, choć według zaktualizowanych zasad występuje o pięć błędów mniej. Są to wyniki ponownej oceny zapisanych zgłoszeń jednego wydawcy. Pokazują wpływ przypiętych ustawień oceny na te wyniki. Wstępne przetwarzanie tekstu GigaSpeech

Przypięte zgłoszenie modelu 3B · Przypięte zgłoszenie modelu 0.6B · Przypięte oczyszczone teksty referencyjne

Test zapisanego wyniku

Fikcyjny tekst referencyjny to we [need to leave] now. Tekst rozpoznany to we now. Wcześniejsza wersja algorytmu usuwa trzy słowa w nawiasach kwadratowych i ocenia tę parę na 0% WER. Gdy plik z wynikiem zostaje zachowany, zaktualizowana wersja zwraca 0% i nie dopasowuje żadnej pary. Gdy zażądano ponownego obliczenia, dopasowuje jedną parę, zachowuje słowa w nawiasach jako słowa referencyjne i zwraca trzy pominięcia na pięć słów, czyli 60%. Włączona zmiana dokumentuje opcję ponownego obliczenia. Zmiana oceny w Open ASR

Test wpływu nagrania

Pogrupuj 18,760 dopasowanych fragmentów według oryginalnego nagrania zakodowanego w identyfikatorze fragmentu GigaSpeech. Dla każdej z 131 grup pomiń wszystkie jej fragmenty w wynikach obu systemów i ponownie oblicz różnicę na podstawie pozostałych słów referencyjnych. Różnica to WER modelu 0.6B minus WER modelu 3B. Przy oczyszczonych tekstach referencyjnych i nowszej wersji algorytmu różnica dla pełnego zbioru wynosi 100 × (29,336 − 27,506) / 397,143, czyli 0.460791 punktu procentowego. Wyniki 131 obliczeń po pominięciu grupy mieszczą się w zakresie od 0.430797 do 0.478149 punktu procentowego. Przy każdym pominięciu kolejność modeli pozostaje taka sama. Ten test sprawdza, jak każde pojedyncze nagranie wpływa na wynik dla dopasowanego zbioru. Identyfikatory nagrań i segmentów GigaSpeech