Langkau ke kandungan utama

Menu

Penyelidikan

Cara menyemak skor transkrip sebelum menerima hasil kerja

Bahasa: Bahasa Melayu

Minta senarai klip, teks rujukan, transkrip yang diserahkan dan tetapan pemarkahan. Kadar kesilapan perkataan mengira perkataan yang diganti, tertinggal atau ditambah bagi setiap 100 perkataan dalam teks rujukan. Kadar yang rendah masih boleh menyembunyikan kesilapan yang menjejaskan kerja, seperti tanda tolak yang hilang atau perkataan pada bahagian rakaman yang salah. Semak butiran ini sebelum menerima hasil kerja. Cara kadar kesilapan perkataan dikira

Semak sama ada perkataan berada pada bahagian rakaman yang betul

Andaikan rujukan mempunyai dua segmen, turn left dan then stop. Hasil yang diserahkan mengandungi turn left then dan stop. Apabila kedua-duanya digabungkan, kadar kesilapan ialah 0% kerana keempat-empat perkataan masih dalam susunan yang betul. Apabila segmen dinilai berasingan, kadarnya ialah 50% kerana then ditambah pada segmen pertama dan hilang daripada segmen kedua. Nilai setiap segmen secara berasingan jika sempadan segmen penting untuk kerja itu. Contoh mengikut segmen

Sertakan klip senyap dalam ujian

Dalam ujian rekaan dengan dua klip pertuturan, kadar kesilapan sistem A ialah 0% dan sistem B ialah 12.5%. Kami menambah satu klip yang disahkan senyap. A menghasilkan dua perkataan pada klip itu dan kadarnya meningkat kepada 25%. Kadar B kekal pada 12.5%. Jika hasil kerja merangkumi bahagian senyap, laporkan bilangan klip yang disahkan senyap tetapi mengandungi teks yang tidak diingini. Tandakan klip tanpa rujukan secara berasingan supaya tidak dikira sebagai klip senyap. Contoh klip senyap

Semak nombor dalam teks asal

Dalam satu ujian, peraturan pemarkahan menganggap offset -5 meters dan offset 5 meters serupa. Perkara yang sama berlaku kepada offset 1.5 meters dan offset 15 meters. Dalam ujian Whisper yang berasingan, normalisasi pertama mengekalkan tanda tolak daripada “negative one point five”. Normalisasi kedua membuang tanda itu dan kadar kesilapan bagi jawapan yang sama tanpa tanda tolak turun daripada 33.3% kepada 0%. Jika nombor penting, semak teks asal dan rekod berapa kali setiap teks dinormalisasikan. Ujian tanda baca · Ujian Whisper

Nilai semula klip yang sama apabila peraturan berubah

Kami menilai transkrip tersimpan daripada dua model ARK-ASR pada 18,760 klip GigaSpeech yang sama. Dengan transkrip rujukan asal, kemas kini pemarkahan Open ASR menaikkan kadar kesilapan perkataan model lebih besar daripada 6.93% kepada 15.11% dan model lebih kecil daripada 7.39% kepada 15.50%. Peraturan baharu mengira penanda tanda baca seperti <COMMA> sebagai perkataan. Dengan transkrip rujukan yang telah dibersihkan untuk klip yang sama, kadar kedua-dua model masing-masing ialah 6.93% dan 7.39% apabila dibundarkan kepada dua tempat perpuluhan, di bawah kedua-dua versi peraturan. Perbandingan skor

Apabila peraturan pemarkahan berubah, kira semula kedua-dua skor menggunakan klip dan rujukan yang sama. Dalam contoh rekaan yang berasingan, program pemarkahan yang dikemas kini memulangkan keputusan terdahulu daripada fail tersimpan sehingga kami mengarahkannya membuat pengiraan semula. Pastikan program itu benar-benar mengira semula skor sebelum anda membandingkan keputusan. Ujian skor tersimpan

Lihat pengaruh satu rakaman apabila keputusan hampir sama

Sesetengah rakaman menghasilkan banyak klip. Dalam ujian GigaSpeech, kami mengetepikan satu rakaman lengkap pada setiap giliran dan membandingkan model berdasarkan klip yang tinggal. Dengan rujukan yang telah dibersihkan dan peraturan lebih baharu, model lebih besar mendahului sebanyak 0.46 mata peratusan bagi kesemua 131 rakaman. Apabila satu rakaman diketepikan, kelebihan itu berada antara 0.43 hingga 0.48 mata. Gunakan semakan ini untuk mengetahui sama ada satu rakaman menentukan hasil perbandingan yang sengit. Ujian mengikut rakaman