Baca artikel · Muat turun bukti (Markdown)

Bukti untuk menyemak skor transkrip

Contoh di bawah menggunakan teks rekaan atau keputusan agregat daripada penyerahan penanda aras awam. Kadar kesilapan perkataan (WER) membahagikan jumlah sisipan, pengguguran dan penggantian dengan bilangan perkataan rujukan. Darabkan hasilnya dengan 100 untuk mendapatkannya sebagai peratusan. Pemarkahan dan penjajaran JiWER

Contoh segmen

Segmen rujukan ialah turn left dan then stop. Segmen yang diserahkan ialah turn left then dan stop. Apabila segmen dinilai secara berasingan, sistem pemarkahan mengira satu sisipan dan satu pengguguran bagi then. Ini bersamaan dua kesilapan bagi empat perkataan rujukan, atau 50%. Apabila segmen digabungkan, kedua-dua teks menjadi turn left then stop, tanpa kesilapan bagi empat perkataan. Perbandingan ini menggunakan teks dalam segmen yang diberikan. Untuk mengesahkan masa perkataan disebut dalam rakaman, audio dan cap masa perlu disemak. Penjajaran JiWER

Contoh klip senyap

Ini ialah kadar terkumpul untuk klip rekaan. Dua klip pertuturan mengandungi lapan perkataan rujukan. Klip ketiga disahkan senyap dan tidak menyumbang sebarang perkataan rujukan.

Klip yang dinilaiKesilapan perkataan sistem AKesilapan perkataan sistem BPerkataan rujukanWER AWER B
Dua klip pertuturan0180%12.5%
Dua klip pertuturan dan satu klip senyap21825%12.5%

A menghasilkan dua perkataan pada klip senyap. B membiarkannya kosong. Laporkan klip yang disahkan senyap tetapi mengandungi perkataan yang tidak sepatutnya secara berasingan daripada kadar kesilapan perkataan terkumpul. Berikan status tersendiri kepada klip yang tiada teks rujukan. Peraturan rujukan kosong JiWER 4

Ujian tanda baca

JiWER 4.0.0 dijalankan pada dua pasangan teks rekaan dengan pilihan membuang tanda baca digunakan pada kedua-dua teks dalam setiap pasangan. offset -5 meters dan offset 5 meters menjadi sama. Begitu juga dengan offset 1.5 meters dan offset 15 meters. Kedua-dua perbandingan memberikan WER 0% selepas transformasi. Medan angka asal berbeza dalam kedua-dua pasangan. Pembuangan tanda baca JiWER

Ujian Whisper

Dalam contoh rekaan yang berasingan, penormal bahasa Inggeris Whisper yang ditetapkan pada versi tertentu mengubah offset negative one point five meters menjadi offset -one.5 meters. Teks ramalan yang dikekalkan selepas satu kali pembersihan ialah offset one.5 meters. Kedua-dua teks berbeza pada satu daripada tiga perkataan, bersamaan WER 33.3%. Proses kali kedua mengubah rujukan yang disimpan menjadi offset one.5 meters. Berbanding dengan ramalan yang sama, jumlah kesilapan menjadi sifar. Pelaksanaan semula ini menguji pemarkahan teks. Keluaran Whisper · Penormal bahasa Inggeris yang ditetapkan pada versi tertentu

Perbandingan skor

Padankan output yang disimpan bagi kedua-dua model dengan subset GigaSpeech yang telah dibersihkan menggunakan ID klip. Penyerahan kedua-dua model mengandungi ID klip yang sama dan mempunyai rujukan asal yang sama bagi setiap klip. Set yang turut terdapat dalam subset yang dibersihkan mengandungi 18,760 klip. Nilai set yang sama menggunakan rujukan asal dan rujukan yang dibersihkan. Kekalkan teks ramalan yang disimpan bagi setiap model apabila menggunakan sistem pemarkahan yang berbeza. Setiap revisi menggunakan kaedah penormalan bahasa Inggerisnya sendiri. Penjajaran menggunakan Kaldialign 0.12.0 dengan penggabungan kata majmuk diaktifkan. Jumlahkan kesilapan dan perkataan rujukan bagi semua klip yang dipadankan sebelum membuat pembahagian.

Revisi pemarkahan ialah edd68424736537b6d0191be325ae3605c33de284 dan f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Sistem pemarkahan terdahulu · Sistem pemarkahan yang dikemas kini

RujukanModelKesilapan / perkataan terdahuluWER terdahuluKesilapan / perkataan yang dikemas kiniWER yang dikemas kini
AsalARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
AsalARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
DibersihkanARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
DibersihkanARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

Pada manifes GigaSpeech 3B asal, membuang empat jenis penanda tanda baca GigaSpeech yang didokumenkan sebelum penormalan yang lebih baharu mengembalikan token rujukan dan ramalan kepada bentuk terdahulu bagi semua 19,898 baris. Kadar 0.6B yang dibersihkan dibundarkan kepada peratusan yang sama, dengan lima kesilapan lebih sedikit di bawah peraturan yang dikemas kini. Ini ialah pelaksanaan semula penyerahan yang disimpan daripada satu penerbit. Hasilnya menunjukkan kesan pada output ini menggunakan tetapan pemarkahan yang ditetapkan pada versi tertentu. Prapemprosesan teks GigaSpeech

Penyerahan 3B yang ditetapkan pada versi tertentu · Penyerahan 0.6B yang ditetapkan pada versi tertentu · Rujukan yang dibersihkan dan ditetapkan pada versi tertentu

Ujian skor yang disimpan

Rujukan rekaan ialah we [need to leave] now. Ramalannya ialah we now. Sistem pemarkahan terdahulu membuang tiga perkataan dalam kurungan dan memberikan pasangan itu WER 0%. Apabila fail skor dikekalkan, sistem pemarkahan yang dikemas kini mengembalikan 0% dan tidak menjajarkan sebarang pasangan. Apabila pengiraan semula diminta, sistem itu menjajarkan satu pasangan, mengekalkan perkataan dalam kurungan sebagai perkataan rujukan dan mengira tiga pengguguran daripada lima perkataan, iaitu 60%. Perubahan yang telah digabungkan mendokumenkan pilihan pengiraan semula. Perubahan pemarkahan Open ASR

Ujian rakaman

Kumpulkan 18,760 klip yang dipadankan mengikut rakaman asal yang dikodkan dalam ID klip GigaSpeech. Bagi setiap satu daripada 131 kumpulan, keluarkan semua klipnya daripada kedua-dua sistem dan kira semula jurang menggunakan perkataan rujukan yang tinggal. Jurang ialah WER 0.6B ditolak WER 3B. Dengan rujukan yang dibersihkan dan sistem pemarkahan yang lebih baharu, jurang bagi set penuh ialah 100 × (29,336 − 27,506) / 397,143, atau 0.460791 mata peratusan. Hasil bagi 131 pengeluaran berada antara 0.430797 hingga 0.478149 mata peratusan. Urutan kedua-dua sistem kekal sama bagi setiap pengeluaran. Ini menguji kepekaan keputusan terhadap satu rakaman pada satu masa dalam set yang dipadankan. Pengecam rakaman dan segmen GigaSpeech