Baca artikel · Unduh bukti (Markdown)
Bukti untuk memeriksa skor transkrip
Contoh di bawah ini menggunakan teks rekaan atau hasil agregat dari hasil pengujian benchmark publik yang dikirimkan. Tingkat kesalahan kata (WER) membagi jumlah penyisipan, penghapusan, dan penggantian dengan jumlah kata referensi. Kalikan hasilnya dengan 100 untuk menyatakannya sebagai persentase. Penilaian dan penyelarasan JiWER
Contoh segmen
Segmen referensinya adalah turn left dan then stop. Segmen yang diserahkan adalah turn left then dan stop. Saat segmen dinilai secara terpisah, sistem penilaian menghitung satu penyisipan dan satu penghapusan untuk then. Hasilnya adalah dua kesalahan dari empat kata referensi, atau 50%. Jika segmen digabungkan, kedua sisi menghasilkan turn left then stop, tanpa kesalahan dari empat kata. Perbandingan ini menggunakan teks dalam segmen yang diberikan. Untuk memastikan kapan kata diucapkan dalam rekaman, periksa audio dan penanda waktunya. Penyelarasan JiWER
Contoh klip senyap
Ini adalah tingkat kesalahan gabungan untuk klip rekaan. Kedua klip berisi ucapan menyumbang delapan kata referensi. Klip ketiga telah dipastikan senyap dan menyumbang nol kata referensi.
| Klip yang dinilai | Kesalahan kata sistem A | Kesalahan kata sistem B | Kata referensi | WER A | WER B |
|---|---|---|---|---|---|
| Dua klip berisi ucapan | 0 | 1 | 8 | 0% | 12.5% |
| Dua klip berisi ucapan dan satu klip senyap | 2 | 1 | 8 | 25% | 12.5% |
A menghasilkan dua kata pada klip senyap. B membiarkannya kosong. Laporkan klip yang telah dipastikan senyap tetapi menghasilkan kata yang tidak diinginkan secara terpisah dari tingkat kesalahan kata gabungan. Beri status tersendiri untuk klip yang teks referensinya tidak tersedia. Aturan referensi kosong JiWER 4
Pengujian tanda baca
JiWER 4.0.0 dijalankan pada dua pasangan teks rekaan dengan opsi penghapusan tanda baca diterapkan pada kedua sisi. offset -5 meters dan offset 5 meters menjadi identik. Begitu juga offset 1.5 meters dan offset 15 meters. Kedua perbandingan menghasilkan WER 0% setelah transformasi. Angka dalam teks asli berbeda pada kedua pasangan. Penghapusan tanda baca JiWER
Pengujian Whisper
Dalam contoh rekaan yang terpisah, normalisasi bahasa Inggris Whisper pada versi yang ditetapkan mengubah offset negative one point five meters menjadi offset -one.5 meters. Prediksi yang tetap digunakan setelah satu kali pembersihan adalah offset one.5 meters. Kedua teks berbeda satu kata dari tiga kata, atau WER 33.3%. Pemrosesan kedua mengubah referensi yang disimpan menjadi offset one.5 meters. Dibandingkan dengan prediksi yang sama, jumlah kesalahan menjadi nol. Pengujian ulang ini menguji penilaian teks. Rilis Whisper · Normalisasi bahasa Inggris pada versi yang ditetapkan
Perbandingan skor
Cocokkan keluaran tersimpan dari kedua model dengan bagian GigaSpeech yang telah dibersihkan berdasarkan ID klip. Hasil yang dikirimkan kedua model memiliki ID klip yang sama dan referensi asli yang sama untuk setiap klip. Irisannya dengan bagian yang telah dibersihkan berisi 18,760 klip. Nilai kumpulan yang sama menggunakan referensi asli dan referensi yang telah dibersihkan. Pertahankan teks prediksi tersimpan setiap model agar tetap sama pada kedua sistem penilaian. Setiap revisi menggunakan normalisasi bahasa Inggrisnya sendiri. Penyelarasan menggunakan Kaldialign 0.12.0 dengan penggabungan kata majemuk diaktifkan. Jumlahkan kesalahan dan kata referensi dari seluruh klip yang cocok sebelum membaginya.
Revisi sistem penilaian yang digunakan adalah edd68424736537b6d0191be325ae3605c33de284 dan f58d58a3f98eb9d5c2dd284ce85954b3cd801759. Sistem penilaian sebelumnya · Sistem penilaian yang diperbarui
| Referensi | Model | Kesalahan / kata sebelumnya | WER sebelumnya | Kesalahan / kata setelah pembaruan | WER setelah pembaruan |
|---|---|---|---|---|---|
| Asli | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Asli | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Dibersihkan | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Dibersihkan | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
Pada manifes GigaSpeech 3B asli, penghapusan empat jenis penanda tanda baca GigaSpeech yang terdokumentasi sebelum normalisasi yang lebih baru menghasilkan kembali token referensi dan prediksi sebelumnya pada seluruh 19,898 baris. Tingkat kesalahan 0.6B dengan referensi yang telah dibersihkan dibulatkan ke persentase yang sama, dengan lima kesalahan lebih sedikit menurut aturan yang diperbarui. Hasil ini berasal dari pengujian ulang hasil tersimpan yang dikirimkan oleh satu penerbit. Hasil tersebut menunjukkan pengaruhnya pada keluaran ini dengan pengaturan penilaian pada versi yang ditetapkan. Prapemrosesan teks GigaSpeech
Hasil 3B pada versi yang ditetapkan · Hasil 0.6B pada versi yang ditetapkan · Referensi yang telah dibersihkan pada versi yang ditetapkan
Pengujian skor tersimpan
Referensi rekaan adalah we [need to leave] now. Prediksinya adalah we now. Sistem penilaian sebelumnya menghapus tiga kata dalam tanda kurung siku dan memberi pasangan tersebut WER 0%. Jika file skor dipertahankan, sistem penilaian yang diperbarui menghasilkan 0% dan tidak menyelaraskan pasangan apa pun. Ketika penghitungan ulang diminta, sistem menyelaraskan satu pasangan, mempertahankan kata dalam tanda kurung siku sebagai kata referensi, dan menghasilkan tiga penghapusan dari lima kata, atau 60%. Perubahan yang telah digabungkan mendokumentasikan opsi penghitungan ulang. Perubahan penilaian Open ASR
Pengujian rekaman
Kelompokkan 18,760 klip yang cocok berdasarkan rekaman asli yang tercantum dalam ID klip GigaSpeech. Untuk setiap dari 131 kelompok, keluarkan semua klipnya dari kedua sistem dan hitung ulang selisih menggunakan kata referensi yang tersisa. Selisihnya adalah WER 0.6B dikurangi WER 3B. Dengan referensi yang telah dibersihkan dan sistem penilaian yang lebih baru, selisih untuk seluruh kumpulan adalah 100 × (29,336 − 27,506) / 397,143, atau 0.460791 poin persentase. Hasil dari 131 pengujian dengan satu kelompok dikeluarkan berkisar antara 0.430797 hingga 0.478149 poin persentase. Pada setiap pengujian, urutan kedua sistem tetap sama. Pengujian ini memeriksa sensitivitas hasil terhadap satu rekaman pada satu waktu dalam kumpulan klip yang cocok. Pengenal rekaman dan segmen GigaSpeech