# Sådan tjekker du en transskriptions score, før du godkender leverancen

Bed om listen over klip, referenceteksten, de leverede transskriptioner og indstillingerne for scoreberegningen. Ordfejlraten angiver antallet af ord, der er erstattet, udeladt eller tilføjet pr. 100 ord i referenceteksten. En lav rate kan stadig skjule fejl, der er vigtige for opgaven, som et manglende minustegn eller et ord placeret i den forkerte del af en optagelse. Tjek de detaljer, før du godkender leverancen. [Sådan beregnes ordfejlraten](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Tjek, om ordene står i den rigtige del af optagelsen

Forestil dig, at referencen har to segmenter, `turn left` og `then stop`. I leverancen står der `turn left then` og `stop`. Samler du segmenterne, er ordfejlraten 0 %, fordi alle fire ord står i den rigtige rækkefølge. Vurderer du hvert segment for sig, er den 50 %, fordi `then` er tilføjet i det første segment og mangler i det andet. Vurder segmenterne hver for sig, hvis deres grænser har betydning for opgaven. [Eksempel med to segmenter](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#segment-example)

## Tag stille klip med i testen

I en tænkt test på to klip med tale havde system A en ordfejlrate på 0 % og system B en på 12,5 %. Vi tilføjede ét klip, som var bekræftet stille. A skrev to ord i klippet, og dets rate steg til 25 %. B blev på 12,5 %. Hvis leverancen omfatter stilhed, så oplys, hvor mange bekræftet stille klip der indeholder uønsket tekst. Markér klip uden referencetekst separat, så de ikke tæller som stille. [Eksempel med et stille klip](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Læs tallene i den oprindelige tekst

I én test behandlede scoringsreglerne `offset -5 meters` og `offset 5 meters` som ens. Det samme gjaldt `offset 1.5 meters` og `offset 15 meters`. I en separat test med Whisper bevarede den første normalisering minustegnet i »negative one point five«. Den anden normalisering fjernede det. For det samme svar uden fortegn faldt ordfejlraten fra 33,3 % til 0 %. Hvis tallene betyder noget for arbejdet, så tjek dem i de oprindelige tekster, og notér, hvor mange gange hver tekst er normaliseret. [Test af tegnsætning](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Test med Whisper](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#whisper-test)

## Beregn scoren igen på de samme klip, når reglerne ændres

Vi vurderede gemte transskriptioner fra to ARK-ASR-modeller på de samme 18.760 GigaSpeech-klip. Med de oprindelige referencetekster hævede en opdatering i Open ASR den større models ordfejlrate fra 6,93 % til 15,11 % og den mindre models fra 7,39 % til 15,50 %. De nye regler talte tegnsætningsmarkører som `<COMMA>` som ord. Med rensede referencetekster for de samme klip fik modellerne henholdsvis 6,93 % og 7,39 % efter afrunding til to decimaler, både efter de gamle og de nye regler. [Sammenligning af scorer](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#score-comparison)

Når reglerne ændres, så beregn begge scorer på ny med de samme klip og referencer. I et andet tænkt eksempel hentede det opdaterede program det gamle resultat fra en gemt fil, indtil vi udtrykkeligt bad det om at regne igen. Tjek, at programmet faktisk har regnet på ny, før du sammenligner resultaterne. [Test af gemt score](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Se, hvor meget én optagelse betyder, når resultaterne ligger tæt

Nogle optagelser giver mange klip. I GigaSpeech-testen udelod vi én hel optagelse ad gangen og sammenlignede modellerne på de resterende klip. Med rensede referencer og de nyere regler havde den større model en ordfejlrate, der var 0,46 procentpoint lavere over alle 131 optagelser. Når vi udelod én optagelse, lå forskellen mellem 0,43 og 0,48 procentpoint. Brug tjekket til at se, om én enkelt optagelse afgør en tæt sammenligning. [Test pr. optagelse](https://sapien1.com/da/research/transcript-score-acceptance/evidence.html#recording-test)
