# Materiały źródłowe do sprawdzania wyników oceny transkrypcji

Poniższe przykłady wykorzystują wymyślony tekst lub zbiorcze wyniki publicznych zgłoszeń do testów porównawczych. Współczynnik błędów słów (WER) to suma wstawień, pominięć i zamian podzielona przez liczbę słów w tekście referencyjnym. Pomnóż wynik przez 100, aby wyrazić go w procentach. [Ocena i dopasowanie w JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Przykład segmentów

Segmenty referencyjne to `turn left` i `then stop`. Dostarczone segmenty to `turn left then` i `stop`. Przy ocenie oddzielnych segmentów algorytm zlicza wstawienie i pominięcie słowa `then`. Daje to dwa błędy na cztery słowa referencyjne, czyli 50%. Po połączeniu segmentów po obu stronach otrzymujemy `turn left then stop`, bez błędów na cztery słowa. Porównanie dotyczy tekstu w dostarczonych segmentach. Aby sprawdzić, kiedy słowa padają w nagraniu, trzeba sprawdzić dźwięk i znaczniki czasu. [Dopasowanie w JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Przykład cichego fragmentu

Są to zbiorcze współczynniki dla wymyślonych fragmentów. Dwa fragmenty z mową zawierają łącznie osiem słów referencyjnych. W trzecim fragmencie potwierdzono ciszę, więc nie zawiera on słów referencyjnych.

| Oceniane fragmenty | Błędy słów systemu A | Błędy słów systemu B | Słowa referencyjne | WER systemu A | WER systemu B |
| --- | ---: | ---: | ---: | ---: | ---: |
| Dwa fragmenty z mową | 0 | 1 | 8 | 0% | 12.5% |
| Dwa fragmenty z mową i jeden cichy fragment | 2 | 1 | 8 | 25% | 12.5% |

System A wygenerował dwa słowa dla cichego fragmentu. System B pozostawił go pustym. Potwierdzone ciche fragmenty zawierające niepożądane słowa raportuj oddzielnie od zbiorczego współczynnika błędów słów. Fragmentom bez tekstu referencyjnego nadaj osobny status. [Zasady JiWER 4 dla pustych tekstów referencyjnych](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test interpunkcji

JiWER 4.0.0 uruchomiono dla dwóch wymyślonych par tekstów, stosując opcjonalne usuwanie interpunkcji po obu stronach. Teksty `offset -5 meters` i `offset 5 meters` stają się identyczne. To samo dotyczy tekstów `offset 1.5 meters` i `offset 15 meters`. Po przekształceniu oba porównania dają WER równy 0%. W oryginalnych tekstach wartości liczbowe różnią się w obu parach. [Usuwanie interpunkcji w JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Test Whisper

W osobnym fikcyjnym przykładzie normalizator języka angielskiego Whisper w przypiętej wersji przekształca `offset negative one point five meters` w `offset -one.5 meters`. Stały tekst rozpoznany po jednokrotnym oczyszczeniu to `offset one.5 meters`. Teksty różnią się jednym słowem z trzech, co daje WER równy 33.3%. Drugie przetworzenie zmienia zapisany tekst referencyjny na `offset one.5 meters`. Przy porównaniu z tym samym tekstem rozpoznanym liczba błędów spada do zera. To ponowne przetworzenie sprawdza ocenę tekstu. [Wydanie Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Przypięta wersja normalizatora języka angielskiego](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Porównanie wyników

Dopasuj zapisane wyniki obu modeli do oczyszczonego podzbioru GigaSpeech według identyfikatora fragmentu. Zgłoszenia obu modeli zawierają te same identyfikatory fragmentów i dla każdego fragmentu podają ten sam oryginalny tekst referencyjny. Część wspólna z oczyszczonym podzbiorem zawiera **18,760 fragmentów**. Oceń ten sam zbiór względem oryginalnych i oczyszczonych tekstów referencyjnych. Przy użyciu obu wersji algorytmu zachowaj ten sam zapisany tekst rozpoznany przez każdy model. Każda wersja algorytmu stosuje własną normalizację języka angielskiego. Do dopasowania użyto Kaldialign 0.12.0 z włączonym łączeniem wyrazów złożonych. Przed dzieleniem zsumuj błędy i słowa referencyjne we wszystkich dopasowanych fragmentach.

Wersje algorytmu oceny to `edd68424736537b6d0191be325ae3605c33de284` i `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Wcześniejsza wersja](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Zaktualizowana wersja](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Teksty referencyjne | Model | Błędy / słowa — wcześniejsza wersja | WER — wcześniejsza wersja | Błędy / słowa — zaktualizowana wersja | WER — zaktualizowana wersja |
| --- | --- | ---: | ---: | ---: | ---: |
| Oryginalne | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Oryginalne | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Oczyszczone | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Oczyszczone | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

W oryginalnym manifeście GigaSpeech dla modelu 3B usunięcie czterech udokumentowanych typów znaczników interpunkcji GigaSpeech przed zastosowaniem nowszej normalizacji przywraca tokeny tekstu referencyjnego i tekstu rozpoznanego z wcześniejszej wersji we wszystkich 19,898 wierszach. Współczynniki modelu 0.6B dla oczyszczonych tekstów referencyjnych po zaokrągleniu dają tę samą wartość procentową, choć według zaktualizowanych zasad występuje o pięć błędów mniej. Są to wyniki ponownej oceny zapisanych zgłoszeń jednego wydawcy. Pokazują wpływ przypiętych ustawień oceny na te wyniki. [Wstępne przetwarzanie tekstu GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Przypięte zgłoszenie modelu 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Przypięte zgłoszenie modelu 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Przypięte oczyszczone teksty referencyjne](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test zapisanego wyniku

Fikcyjny tekst referencyjny to `we [need to leave] now`. Tekst rozpoznany to `we now`. Wcześniejsza wersja algorytmu usuwa trzy słowa w nawiasach kwadratowych i ocenia tę parę na 0% WER. Gdy plik z wynikiem zostaje zachowany, zaktualizowana wersja zwraca 0% i nie dopasowuje żadnej pary. Gdy zażądano ponownego obliczenia, dopasowuje jedną parę, zachowuje słowa w nawiasach jako słowa referencyjne i zwraca trzy pominięcia na pięć słów, czyli 60%. Włączona zmiana dokumentuje opcję ponownego obliczenia. [Zmiana oceny w Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test wpływu nagrania

Pogrupuj 18,760 dopasowanych fragmentów według oryginalnego nagrania zakodowanego w identyfikatorze fragmentu GigaSpeech. Dla każdej z 131 grup pomiń wszystkie jej fragmenty w wynikach obu systemów i ponownie oblicz różnicę na podstawie pozostałych słów referencyjnych. Różnica to WER modelu 0.6B minus WER modelu 3B. Przy oczyszczonych tekstach referencyjnych i nowszej wersji algorytmu różnica dla pełnego zbioru wynosi `100 × (29,336 − 27,506) / 397,143`, czyli **0.460791 punktu procentowego**. Wyniki 131 obliczeń po pominięciu grupy mieszczą się w zakresie **od 0.430797 do 0.478149 punktu procentowego**. Przy każdym pominięciu kolejność modeli pozostaje taka sama. Ten test sprawdza, jak każde pojedyncze nagranie wpływa na wynik dla dopasowanego zbioru. [Identyfikatory nagrań i segmentów GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
