# Cum verifici scorul unei transcrieri înainte de a accepta livrarea

Cere lista fragmentelor, textul de referință, transcrierile livrate și setările de evaluare. Rata de eroare la nivel de cuvânt numără cuvintele înlocuite, omise sau adăugate la fiecare 100 de cuvinte din textul de referință. O rată mică poate ascunde erori importante pentru lucrare, cum ar fi lipsa semnului minus sau plasarea unui cuvânt în partea greșită a înregistrării. Verifică aceste detalii înainte de a accepta livrarea. [Calculul ratei de eroare la nivel de cuvânt](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Verifică dacă sunt cuvintele în partea corectă a înregistrării

Să presupunem că referința are două segmente, `turn left` și `then stop`. În livrare apar `turn left then` și `stop`. Dacă le unești, rata de eroare este de 0%, pentru că toate cele patru cuvinte sunt în ordinea corectă. Dacă le evaluezi separat, rata ajunge la 50%, pentru că `then` a fost adăugat în primul segment și lipsește din al doilea. Dacă limitele segmentelor contează pentru lucrare, evaluează fiecare segment separat. [Exemplu de evaluare pe segmente](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#segment-example)

## Păstrează fragmentele silențioase în test

Într-un test fictiv pe două fragmente cu vorbire, sistemul A a avut o rată de eroare de 0%, iar sistemul B a avut 12,5%. Am adăugat un fragment despre care am verificat că este silențios. A a produs două cuvinte acolo, iar rata sa a urcat la 25%. Rata lui B a rămas la 12,5%. Dacă livrarea include porțiuni silențioase, raportează câte fragmente confirmate ca silențioase conțin text nedorit. Marchează separat fragmentele fără referință, ca să nu fie numărate ca silențioase. [Exemplu de fragment silențios](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Verifică numerele în textul original

Într-un test, regulile de evaluare au tratat `offset -5 meters` și `offset 5 meters` ca fiind identice. La fel s-a întâmplat cu `offset 1.5 meters` și `offset 15 meters`. Într-un test separat cu Whisper, prima normalizare a păstrat semnul minus din „negative one point five”. A doua normalizare l-a eliminat. Pentru același răspuns fără semn, rata de eroare a scăzut de la 33,3% la 0%. Când numerele contează, verifică-le în textele originale și notează de câte ori este normalizat fiecare text. [Test de punctuație](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test cu Whisper](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#whisper-test)

## Evaluează din nou aceleași fragmente când regulile se schimbă

Am evaluat transcrierile salvate de două modele ARK-ASR pe aceleași 18.760 de fragmente GigaSpeech. Cu textele de referință originale, o actualizare Open ASR a crescut rata de eroare a modelului mai mare de la 6,93% la 15,11%, iar pe cea a modelului mai mic de la 7,39% la 15,50%. Noile reguli au numărat marcaje de punctuație precum `<COMMA>` drept cuvinte. Cu referințe curățate pentru aceleași fragmente, ratele celor două modele, rotunjite la două zecimale, au fost de 6,93% și 7,39%, în această ordine, în ambele versiuni ale regulilor. [Comparația scorurilor](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#score-comparison)

Când regulile se schimbă, recalculează ambele scoruri cu aceleași fragmente și referințe. Într-un alt exemplu fictiv, programul actualizat a preluat scorul vechi dintr-un fișier salvat până când am cerut explicit recalcularea. Verifică dacă a avut loc o nouă evaluare înainte de a compara rezultatele. [Testul scorului salvat](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Vezi cât de mult contează o singură înregistrare când rezultatele sunt apropiate

Unele înregistrări furnizează multe fragmente. În testul GigaSpeech am exclus pe rând câte o înregistrare întreagă și am comparat modelele pe fragmentele rămase. Cu referințele curățate și regulile noi, modelul mai mare a avut un avans de 0,46 puncte procentuale pe ansamblul celor 131 de înregistrări. Când am exclus o înregistrare, avansul a variat între 0,43 și 0,48 puncte. Folosește această verificare pentru a afla dacă o singură înregistrare decide o comparație strânsă. [Test pe înregistrări](https://sapien1.com/ro/research/transcript-score-acceptance/evidence.html#recording-test)
