# Wie Sie die Fehlerquote eines Transkripts vor der Abnahme prüfen

Bitten Sie um die Liste der Ausschnitte, den Referenztext, die gelieferten Transkripte und die Bewertungseinstellungen. Die Wortfehlerrate zählt ersetzte, ausgelassene oder eingefügte Wörter pro 100 Wörter im Referenztext. Auch eine niedrige Rate kann Fehler verbergen, die für den Auftrag wichtig sind, etwa ein fehlendes Minuszeichen oder ein Wort im falschen Teil einer Aufnahme. Prüfen Sie solche Details vor der Abnahme. [So wird die Wortfehlerrate berechnet](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Prüfen Sie, ob die Wörter im richtigen Teil der Aufnahme stehen

Angenommen, die Referenz besteht aus den beiden Segmenten `turn left` und `then stop`. In der Lieferung steht `turn left then` und `stop`. Zusammengefügt ergibt der Text 0 % Wortfehler, da alle vier Wörter in der richtigen Reihenfolge stehen. Bei getrennter Bewertung sind es 50 %, weil `then` im ersten Segment hinzugefügt wurde und im zweiten fehlt. Bewerten Sie die Segmente einzeln, wenn ihre Grenzen für den Auftrag wichtig sind. [Beispiel mit zwei Segmenten](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#segment-example)

## Beziehen Sie stille Ausschnitte in den Test ein

In einem fiktiven Test lag die Wortfehlerrate auf zwei Sprachausschnitten für System A bei 0 % und für System B bei 12,5 %. Wir fügten einen nachweislich stillen Ausschnitt hinzu. A erzeugte dort zwei Wörter, und seine Rate stieg auf 25 %. B blieb bei 12,5 %. Wenn die Lieferung Stille enthält, geben Sie an, in wie vielen nachweislich stillen Ausschnitten unerwünschter Text steht. Kennzeichnen Sie fehlende Referenzen gesondert, damit sie nicht als Stille zählen. [Beispiel mit einem stillen Ausschnitt](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Lesen Sie Zahlen im Originaltext nach

In einem Test behandelten die Bewertungsregeln `offset -5 meters` und `offset 5 meters` als identisch. Dasselbe galt für `offset 1.5 meters` und `offset 15 meters`. In einem separaten Whisper-Test blieb das Minuszeichen aus „negative one point five“ beim ersten Normalisieren erhalten. Beim zweiten Durchlauf ging es verloren, und für dieselbe Antwort ohne Vorzeichen sank die Wortfehlerrate von 33,3 % auf 0 %. Wenn Zahlen wichtig sind, prüfen Sie sie in den Originaltexten und halten Sie fest, wie oft jeder Text normalisiert wird. [Test zur Zeichensetzung](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Whisper-Test](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#whisper-test)

## Bewerten Sie dieselben Ausschnitte erneut, wenn sich die Regeln ändern

Wir bewerteten gespeicherte Transkripte von zwei ARK-ASR-Modellen auf denselben 18.760 GigaSpeech-Ausschnitten. Mit den ursprünglichen Referenztexten erhöhte ein Update der Bewertung von Open ASR die Wortfehlerrate des größeren Modells von 6,93 % auf 15,11 % und die des kleineren von 7,39 % auf 15,50 %. Die neuen Regeln zählten Satzzeichenmarkierungen wie `<COMMA>` als Wörter. Mit bereinigten Referenztexten für dieselben Ausschnitte lagen die Raten beider Modelle unter beiden Regelwerken gerundet auf zwei Nachkommastellen bei 6,93 % beziehungsweise 7,39 %. [Vergleich der Ergebnisse](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#score-comparison)

Wenn sich die Bewertungsregeln ändern, berechnen Sie beide Ergebnisse anhand derselben Ausschnitte und Referenzen neu. In einem separaten fiktiven Beispiel las das aktualisierte Bewertungsprogramm das bisherige Ergebnis aus einer gespeicherten Datei, bis wir ausdrücklich eine Neuberechnung anforderten. Prüfen Sie vor dem Vergleich, ob das Programm tatsächlich neu gerechnet hat. [Test mit gespeichertem Ergebnis](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Prüfen Sie, wie stark eine Aufnahme ein knappes Ergebnis beeinflusst

Aus manchen Aufnahmen stammen viele Ausschnitte. Im GigaSpeech-Test ließen wir jeweils eine ganze Aufnahme weg und verglichen die Modelle anhand der verbleibenden Ausschnitte. Mit bereinigten Referenzen und den neueren Regeln lag das größere Modell über alle 131 Aufnahmen um 0,46 Prozentpunkte vorn. Nach Weglassen je einer Aufnahme lag sein Vorsprung zwischen 0,43 und 0,48 Punkten. So lässt sich prüfen, ob eine einzelne Aufnahme einen knappen Vergleich entscheidet. [Test pro Aufnahme](https://sapien1.com/de/research/transcript-score-acceptance/evidence.html#recording-test)
