# Belege zur Prüfung von Transkriptbewertungen

Die folgenden Beispiele verwenden erfundene Texte oder zusammengefasste Ergebnisse öffentlich eingereichter Benchmark-Beiträge. Die Wortfehlerrate (WER) ergibt sich aus der Summe der Einfügungen, Auslassungen und Ersetzungen geteilt durch die Anzahl der Wörter im Referenztext. Multipliziert mit 100 ergibt sich der Prozentwert. [JiWER: Bewertung und Zuordnung](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Segmentbeispiel

Die Referenzsegmente lauten `turn left` und `then stop`. Die gelieferten Segmente lauten `turn left then` und `stop`. Bei der getrennten Bewertung der Segmente zählt das Bewertungsprogramm für `then` eine Einfügung und eine Auslassung. Das sind 2 Fehler bei 4 Referenzwörtern, also 50%. Werden die Segmente zusammengefügt, steht auf beiden Seiten `turn left then stop`: Das ergibt 0 Fehler bei 4 Wörtern. Hier wird der Text in den gelieferten Segmenten verglichen. Um zu prüfen, wann die Wörter in der Aufnahme vorkommen, müssen Audio und Zeitstempel geprüft werden. [JiWER: Zuordnung](https://jitsi.github.io/jiwer/usage/#alignment)

## Beispiel für einen stillen Ausschnitt

Dies sind zusammengefasste Fehlerraten für erfundene Ausschnitte. Die 2 Sprachausschnitte enthalten insgesamt 8 Referenzwörter. Der dritte Ausschnitt enthält nachweislich Stille und trägt 0 Referenzwörter bei.

| Bewertete Ausschnitte | Wortfehler von System A | Wortfehler von System B | Referenzwörter | WER von A | WER von B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 Sprachausschnitte | 0 | 1 | 8 | 0% | 12.5% |
| 2 Sprachausschnitte und 1 stiller Ausschnitt | 2 | 1 | 8 | 25% | 12.5% |

System A gab für den stillen Ausschnitt 2 Wörter aus. System B ließ ihn leer. Weise nachweislich stille Ausschnitte mit unerwünschten Wörtern getrennt von der zusammengefassten Wortfehlerrate aus. Vergib für Ausschnitte mit fehlendem Referenztext einen eigenen Status. [JiWER 4: Regeln für leere Referenztexte](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Test zur Entfernung von Satzzeichen

JiWER 4.0.0 wurde auf 2 erfundene Textpaare angewendet, wobei Satzzeichen optional auf beiden Seiten entfernt wurden. `offset -5 meters` und `offset 5 meters` sind danach identisch. Dasselbe gilt für `offset 1.5 meters` und `offset 15 meters`. Beide Vergleiche ergeben nach der Umwandlung eine WER von 0%. In beiden Paaren unterscheiden sich die ursprünglichen Zahlenangaben. [JiWER: Entfernung von Satzzeichen](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper-Test

In einem separaten fiktiven Beispiel wandelt der auf eine feste Version gesetzte englische Normalisierer von Whisper `offset negative one point five meters` in `offset -one.5 meters` um. Die nach einer Bereinigung festgehaltene Vorhersage lautet `offset one.5 meters`. Die Texte unterscheiden sich in 1 von 3 Wörtern; das entspricht einer WER von 33.3%. Ein zweiter Durchlauf wandelt den gespeicherten Referenztext in `offset one.5 meters` um. Gegenüber derselben Vorhersage ergibt sich dann eine Fehlerzahl von 0. Diese erneute Auswertung prüft die Textbewertung. [Whisper-Version](https://github.com/openai/whisper/releases/tag/v20250625) · [Englischer Normalisierer in festgelegter Version](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Vergleich der Bewertungen

Ordne die gespeicherten Ausgaben der 2 Modelle und den bereinigten GigaSpeech-Datensatz anhand der Ausschnitts-IDs einander zu. Die Einreichungen der 2 Modelle enthalten dieselben Ausschnitts-IDs und stimmen für jeden Ausschnitt im ursprünglichen Referenztext überein. Die Schnittmenge mit dem bereinigten Datensatz enthält **18,760 Ausschnitte**. Bewerte dieselbe Menge mit den ursprünglichen und den bereinigten Referenztexten. Halte den gespeicherten Vorhersagetext jedes Modells über die Bewertungsprogramme hinweg unverändert. Jede Version bringt ihre eigene englische Normalisierung mit. Für die Zuordnung wird Kaldialign 0.12.0 mit aktivierter Zusammenführung zusammengesetzter Wörter verwendet. Addiere die Fehler und Referenzwörter über die zugeordneten Ausschnitte, bevor du sie durcheinander teilst.

Die Versionen des Bewertungsprogramms sind `edd68424736537b6d0191be325ae3605c33de284` und `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Früheres Bewertungsprogramm](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Aktualisiertes Bewertungsprogramm](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Referenztexte | Modell | Frühere Fehler / Wörter | Frühere WER | Aktualisierte Fehler / Wörter | Aktualisierte WER |
| --- | --- | ---: | ---: | ---: | ---: |
| Ursprünglich | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Ursprünglich | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Bereinigt | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Bereinigt | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Werden im ursprünglichen GigaSpeech-Manifest für 3B die 4 dokumentierten Arten von Satzzeichenmarkern aus GigaSpeech vor der neueren Normalisierung entfernt, ergeben sich für alle 19,898 Zeilen wieder die früheren Tokens der Referenztexte und Vorhersagen. Die Fehlerraten für 0.6B mit bereinigten Referenztexten ergeben gerundet denselben Prozentwert; nach den aktualisierten Regeln gibt es 5 Fehler weniger. Hier wurden gespeicherte Einreichungen eines Anbieters erneut ausgewertet. Die Ergebnisse zeigen die Auswirkung auf diese Ausgaben unter den festgelegten Bewertungseinstellungen. [GigaSpeech: Textvorverarbeitung](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Einreichung für 3B in festgelegter Version](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Einreichung für 0.6B in festgelegter Version](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Bereinigte Referenztexte in festgelegter Version](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Test mit gespeicherter Bewertung

Der fiktive Referenztext lautet `we [need to leave] now`. Die Vorhersage lautet `we now`. Das frühere Bewertungsprogramm entfernt die 3 Wörter in eckigen Klammern und bewertet das Paar mit einer WER von 0%. Wenn die Bewertungsdatei beibehalten wird, gibt das aktualisierte Bewertungsprogramm 0% zurück und ordnet 0 Paare zu. Wird eine Neuberechnung angefordert, ordnet es 1 Paar zu, behält die Wörter in eckigen Klammern als Referenzwörter bei und gibt 3 Auslassungen bei 5 Wörtern aus, also 60%. Die übernommene Änderung dokumentiert die Option zur Neuberechnung. [Open ASR: Änderung der Bewertung](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Test nach Aufnahme

Gruppiere die 18,760 zugeordneten Ausschnitte nach der ursprünglichen Aufnahme, die in der GigaSpeech-Ausschnitts-ID codiert ist. Lass für jede der 131 Gruppen alle zugehörigen Ausschnitte bei beiden Systemen weg und berechne den Abstand anhand der verbleibenden Referenzwörter neu. Der Abstand entspricht der WER von 0.6B minus der WER von 3B. Mit bereinigten Referenztexten und dem neueren Bewertungsprogramm beträgt der Abstand für die Gesamtmenge `100 × (29,336 − 27,506) / 397,143`, also **0.460791 Prozentpunkte**. Die 131 Ergebnisse nach dem Weglassen liegen zwischen **0.430797 und 0.478149 Prozentpunkten**. Bei jedem Weglassen bleibt die Reihenfolge gleich. Dies prüft, wie empfindlich das Ergebnis der zugeordneten Menge auf das jeweilige Weglassen einer Aufnahme reagiert. [GigaSpeech: Kennungen für Aufnahmen und Segmente](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
