Forschung
Wie Sie die Fehlerquote eines Transkripts vor der Abnahme prüfen
Bitten Sie um die Liste der Ausschnitte, den Referenztext, die gelieferten Transkripte und die Bewertungseinstellungen. Die Wortfehlerrate zählt ersetzte, ausgelassene oder eingefügte Wörter pro 100 Wörter im Referenztext. Auch eine niedrige Rate kann Fehler verbergen, die für den Auftrag wichtig sind, etwa ein fehlendes Minuszeichen oder ein Wort im falschen Teil einer Aufnahme. Prüfen Sie solche Details vor der Abnahme. So wird die Wortfehlerrate berechnet
Prüfen Sie, ob die Wörter im richtigen Teil der Aufnahme stehen
Angenommen, die Referenz besteht aus den beiden Segmenten turn left und then stop. In der Lieferung steht turn left then und stop. Zusammengefügt ergibt der Text 0 % Wortfehler, da alle vier Wörter in der richtigen Reihenfolge stehen. Bei getrennter Bewertung sind es 50 %, weil then im ersten Segment hinzugefügt wurde und im zweiten fehlt. Bewerten Sie die Segmente einzeln, wenn ihre Grenzen für den Auftrag wichtig sind. Beispiel mit zwei Segmenten
Beziehen Sie stille Ausschnitte in den Test ein
In einem fiktiven Test lag die Wortfehlerrate auf zwei Sprachausschnitten für System A bei 0 % und für System B bei 12,5 %. Wir fügten einen nachweislich stillen Ausschnitt hinzu. A erzeugte dort zwei Wörter, und seine Rate stieg auf 25 %. B blieb bei 12,5 %. Wenn die Lieferung Stille enthält, geben Sie an, in wie vielen nachweislich stillen Ausschnitten unerwünschter Text steht. Kennzeichnen Sie fehlende Referenzen gesondert, damit sie nicht als Stille zählen. Beispiel mit einem stillen Ausschnitt
Lesen Sie Zahlen im Originaltext nach
In einem Test behandelten die Bewertungsregeln offset -5 meters und offset 5 meters als identisch. Dasselbe galt für offset 1.5 meters und offset 15 meters. In einem separaten Whisper-Test blieb das Minuszeichen aus „negative one point five“ beim ersten Normalisieren erhalten. Beim zweiten Durchlauf ging es verloren, und für dieselbe Antwort ohne Vorzeichen sank die Wortfehlerrate von 33,3 % auf 0 %. Wenn Zahlen wichtig sind, prüfen Sie sie in den Originaltexten und halten Sie fest, wie oft jeder Text normalisiert wird. Test zur Zeichensetzung · Whisper-Test
Bewerten Sie dieselben Ausschnitte erneut, wenn sich die Regeln ändern
Wir bewerteten gespeicherte Transkripte von zwei ARK-ASR-Modellen auf denselben 18.760 GigaSpeech-Ausschnitten. Mit den ursprünglichen Referenztexten erhöhte ein Update der Bewertung von Open ASR die Wortfehlerrate des größeren Modells von 6,93 % auf 15,11 % und die des kleineren von 7,39 % auf 15,50 %. Die neuen Regeln zählten Satzzeichenmarkierungen wie <COMMA> als Wörter. Mit bereinigten Referenztexten für dieselben Ausschnitte lagen die Raten beider Modelle unter beiden Regelwerken gerundet auf zwei Nachkommastellen bei 6,93 % beziehungsweise 7,39 %. Vergleich der Ergebnisse
Wenn sich die Bewertungsregeln ändern, berechnen Sie beide Ergebnisse anhand derselben Ausschnitte und Referenzen neu. In einem separaten fiktiven Beispiel las das aktualisierte Bewertungsprogramm das bisherige Ergebnis aus einer gespeicherten Datei, bis wir ausdrücklich eine Neuberechnung anforderten. Prüfen Sie vor dem Vergleich, ob das Programm tatsächlich neu gerechnet hat. Test mit gespeichertem Ergebnis
Prüfen Sie, wie stark eine Aufnahme ein knappes Ergebnis beeinflusst
Aus manchen Aufnahmen stammen viele Ausschnitte. Im GigaSpeech-Test ließen wir jeweils eine ganze Aufnahme weg und verglichen die Modelle anhand der verbleibenden Ausschnitte. Mit bereinigten Referenzen und den neueren Regeln lag das größere Modell über alle 131 Aufnahmen um 0,46 Prozentpunkte vorn. Nach Weglassen je einer Aufnahme lag sein Vorsprung zwischen 0,43 und 0,48 Punkten. So lässt sich prüfen, ob eine einzelne Aufnahme einen knappen Vergleich entscheidet. Test pro Aufnahme