# Bukti untuk menyemak skor transkrip

Contoh di bawah menggunakan teks rekaan atau keputusan agregat daripada penyerahan penanda aras awam. Kadar kesilapan perkataan (WER) membahagikan jumlah sisipan, pengguguran dan penggantian dengan bilangan perkataan rujukan. Darabkan hasilnya dengan 100 untuk mendapatkannya sebagai peratusan. [Pemarkahan dan penjajaran JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Contoh segmen

Segmen rujukan ialah `turn left` dan `then stop`. Segmen yang diserahkan ialah `turn left then` dan `stop`. Apabila segmen dinilai secara berasingan, sistem pemarkahan mengira satu sisipan dan satu pengguguran bagi `then`. Ini bersamaan dua kesilapan bagi empat perkataan rujukan, atau 50%. Apabila segmen digabungkan, kedua-dua teks menjadi `turn left then stop`, tanpa kesilapan bagi empat perkataan. Perbandingan ini menggunakan teks dalam segmen yang diberikan. Untuk mengesahkan masa perkataan disebut dalam rakaman, audio dan cap masa perlu disemak. [Penjajaran JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Contoh klip senyap

Ini ialah kadar terkumpul untuk klip rekaan. Dua klip pertuturan mengandungi lapan perkataan rujukan. Klip ketiga disahkan senyap dan tidak menyumbang sebarang perkataan rujukan.

| Klip yang dinilai | Kesilapan perkataan sistem A | Kesilapan perkataan sistem B | Perkataan rujukan | WER A | WER B |
| --- | ---: | ---: | ---: | ---: | ---: |
| Dua klip pertuturan | 0 | 1 | 8 | 0% | 12.5% |
| Dua klip pertuturan dan satu klip senyap | 2 | 1 | 8 | 25% | 12.5% |

A menghasilkan dua perkataan pada klip senyap. B membiarkannya kosong. Laporkan klip yang disahkan senyap tetapi mengandungi perkataan yang tidak sepatutnya secara berasingan daripada kadar kesilapan perkataan terkumpul. Berikan status tersendiri kepada klip yang tiada teks rujukan. [Peraturan rujukan kosong JiWER 4](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Ujian tanda baca

JiWER 4.0.0 dijalankan pada dua pasangan teks rekaan dengan pilihan membuang tanda baca digunakan pada kedua-dua teks dalam setiap pasangan. `offset -5 meters` dan `offset 5 meters` menjadi sama. Begitu juga dengan `offset 1.5 meters` dan `offset 15 meters`. Kedua-dua perbandingan memberikan WER 0% selepas transformasi. Medan angka asal berbeza dalam kedua-dua pasangan. [Pembuangan tanda baca JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Ujian Whisper

Dalam contoh rekaan yang berasingan, penormal bahasa Inggeris Whisper yang ditetapkan pada versi tertentu mengubah `offset negative one point five meters` menjadi `offset -one.5 meters`. Teks ramalan yang dikekalkan selepas satu kali pembersihan ialah `offset one.5 meters`. Kedua-dua teks berbeza pada satu daripada tiga perkataan, bersamaan WER 33.3%. Proses kali kedua mengubah rujukan yang disimpan menjadi `offset one.5 meters`. Berbanding dengan ramalan yang sama, jumlah kesilapan menjadi sifar. Pelaksanaan semula ini menguji pemarkahan teks. [Keluaran Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Penormal bahasa Inggeris yang ditetapkan pada versi tertentu](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## Perbandingan skor

Padankan output yang disimpan bagi kedua-dua model dengan subset GigaSpeech yang telah dibersihkan menggunakan ID klip. Penyerahan kedua-dua model mengandungi ID klip yang sama dan mempunyai rujukan asal yang sama bagi setiap klip. Set yang turut terdapat dalam subset yang dibersihkan mengandungi **18,760 klip**. Nilai set yang sama menggunakan rujukan asal dan rujukan yang dibersihkan. Kekalkan teks ramalan yang disimpan bagi setiap model apabila menggunakan sistem pemarkahan yang berbeza. Setiap revisi menggunakan kaedah penormalan bahasa Inggerisnya sendiri. Penjajaran menggunakan Kaldialign 0.12.0 dengan penggabungan kata majmuk diaktifkan. Jumlahkan kesilapan dan perkataan rujukan bagi semua klip yang dipadankan sebelum membuat pembahagian.

Revisi pemarkahan ialah `edd68424736537b6d0191be325ae3605c33de284` dan `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Sistem pemarkahan terdahulu](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Sistem pemarkahan yang dikemas kini](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Rujukan | Model | Kesilapan / perkataan terdahulu | WER terdahulu | Kesilapan / perkataan yang dikemas kini | WER yang dikemas kini |
| --- | --- | ---: | ---: | ---: | ---: |
| Asal | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Asal | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Dibersihkan | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Dibersihkan | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Pada manifes GigaSpeech 3B asal, membuang empat jenis penanda tanda baca GigaSpeech yang didokumenkan sebelum penormalan yang lebih baharu mengembalikan token rujukan dan ramalan kepada bentuk terdahulu bagi semua 19,898 baris. Kadar 0.6B yang dibersihkan dibundarkan kepada peratusan yang sama, dengan lima kesilapan lebih sedikit di bawah peraturan yang dikemas kini. Ini ialah pelaksanaan semula penyerahan yang disimpan daripada satu penerbit. Hasilnya menunjukkan kesan pada output ini menggunakan tetapan pemarkahan yang ditetapkan pada versi tertentu. [Prapemprosesan teks GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Penyerahan 3B yang ditetapkan pada versi tertentu](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Penyerahan 0.6B yang ditetapkan pada versi tertentu](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Rujukan yang dibersihkan dan ditetapkan pada versi tertentu](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Ujian skor yang disimpan

Rujukan rekaan ialah `we [need to leave] now`. Ramalannya ialah `we now`. Sistem pemarkahan terdahulu membuang tiga perkataan dalam kurungan dan memberikan pasangan itu WER 0%. Apabila fail skor dikekalkan, sistem pemarkahan yang dikemas kini mengembalikan 0% dan tidak menjajarkan sebarang pasangan. Apabila pengiraan semula diminta, sistem itu menjajarkan satu pasangan, mengekalkan perkataan dalam kurungan sebagai perkataan rujukan dan mengira tiga pengguguran daripada lima perkataan, iaitu 60%. Perubahan yang telah digabungkan mendokumenkan pilihan pengiraan semula. [Perubahan pemarkahan Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Ujian rakaman

Kumpulkan 18,760 klip yang dipadankan mengikut rakaman asal yang dikodkan dalam ID klip GigaSpeech. Bagi setiap satu daripada 131 kumpulan, keluarkan semua klipnya daripada kedua-dua sistem dan kira semula jurang menggunakan perkataan rujukan yang tinggal. Jurang ialah WER 0.6B ditolak WER 3B. Dengan rujukan yang dibersihkan dan sistem pemarkahan yang lebih baharu, jurang bagi set penuh ialah `100 × (29,336 − 27,506) / 397,143`, atau **0.460791 mata peratusan**. Hasil bagi 131 pengeluaran berada antara **0.430797 hingga 0.478149 mata peratusan**. Urutan kedua-dua sistem kekal sama bagi setiap pengeluaran. Ini menguji kepekaan keputusan terhadap satu rakaman pada satu masa dalam set yang dipadankan. [Pengecam rakaman dan segmen GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
