# Jak sprawdzić wynik oceny transkrypcji przed odbiorem

Poproś o listę fragmentów, tekst referencyjny, dostarczone transkrypcje i ustawienia oceny. Współczynnik błędów słów określa, ile słów zastąpiono, pominięto lub dodano na każde 100 słów tekstu referencyjnego. Niski wynik wciąż może ukrywać błędy ważne dla danego zadania, na przykład pominięty znak minus albo słowo w niewłaściwej części nagrania. Sprawdź te szczegóły przed odbiorem. [Jak oblicza się współczynnik błędów słów](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Sprawdź, czy słowa są we właściwej części nagrania

Załóżmy, że tekst referencyjny składa się z dwóch segmentów, `turn left` i `then stop`. W dostarczonej transkrypcji są to `turn left then` i `stop`. Po połączeniu segmentów współczynnik błędów wynosi 0%, bo wszystkie cztery słowa są we właściwej kolejności. Przy ocenie osobno wynosi 50%, bo `then` dodano w pierwszym segmencie i pominięto w drugim. Jeśli granice segmentów mają znaczenie dla zadania, oceniaj każdy segment osobno. [Przykład oceny segmentów](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#segment-example)

## Uwzględnij ciche fragmenty w teście

W fikcyjnym teście na dwóch fragmentach mowy współczynnik błędów systemu A wyniósł 0%, a systemu B 12,5%. Dodaliśmy jeden fragment, w którym potwierdzono ciszę. System A wygenerował w nim dwa słowa, a jego współczynnik wzrósł do 25%. Współczynnik systemu B pozostał na poziomie 12,5%. Jeśli dostarczony materiał zawiera ciszę, podaj, w ilu fragmentach z potwierdzoną ciszą pojawił się niepożądany tekst. Fragmenty bez tekstu referencyjnego oznacz osobno, aby nie liczyć ich jako cichych. [Przykład cichego fragmentu](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Odczytuj liczby z oryginalnego tekstu

W jednym teście zasady oceny uznały `offset -5 meters` i `offset 5 meters` za identyczne. Tak samo było z `offset 1.5 meters` i `offset 15 meters`. W osobnym teście Whisper pierwsza normalizacja zachowała znak minus z „negative one point five”. Druga normalizacja go usunęła, a współczynnik błędów dla tej samej odpowiedzi bez znaku spadł z 33,3% do 0%. Jeśli liczby są ważne, sprawdzaj je w oryginalnych tekstach i zapisuj, ile razy znormalizowano każdy tekst. [Test znaków interpunkcyjnych](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test Whisper](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#whisper-test)

## Oceń ponownie te same fragmenty, gdy zmienią się zasady

Oceniliśmy zapisane transkrypcje dwóch modeli ARK-ASR na tych samych 18 760 fragmentach GigaSpeech. Przy oryginalnych tekstach referencyjnych aktualizacja oceny Open ASR podniosła współczynnik błędów większego modelu z 6,93% do 15,11%, a mniejszego z 7,39% do 15,50%. Nowe zasady liczyły znaczniki interpunkcyjne, takie jak `<COMMA>`, jako słowa. Przy oczyszczonych tekstach referencyjnych dla tych samych fragmentów współczynniki obu modeli po zaokrągleniu do dwóch miejsc po przecinku wynosiły odpowiednio 6,93% i 7,39% według obu wersji zasad. [Porównanie wyników](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#score-comparison)

Gdy zmienią się zasady oceny, oblicz ponownie oba wyniki na tych samych fragmentach i tekstach referencyjnych. W osobnym fikcyjnym przykładzie zaktualizowany program zwracał poprzedni wynik z zapisanego pliku, dopóki nie zleciliśmy wprost ponownego obliczenia. Przed porównaniem wyników sprawdź, czy program rzeczywiście obliczył je ponownie. [Test zapisanego wyniku](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Sprawdź, jak pojedyncze nagranie wpływa na zbliżone wyniki

Niektóre nagrania dają wiele fragmentów. W teście GigaSpeech za każdym razem pomijaliśmy jedno całe nagranie i porównywaliśmy modele na pozostałych fragmentach. Przy oczyszczonych tekstach referencyjnych i nowszych zasadach większy model miał przewagę 0,46 punktu procentowego na wszystkich 131 nagraniach. Po pominięciu jednego nagrania przewaga mieściła się w przedziale od 0,43 do 0,48 punktu. W ten sposób sprawdzisz, czy jedno nagranie rozstrzyga porównanie zbliżonych wyników. [Test według nagrań](https://sapien1.com/pl/research/transcript-score-acceptance/evidence.html#recording-test)
