# Cara menyemak skor transkrip sebelum menerima hasil kerja

Minta senarai klip, teks rujukan, transkrip yang diserahkan dan tetapan pemarkahan. Kadar kesilapan perkataan mengira perkataan yang diganti, tertinggal atau ditambah bagi setiap 100 perkataan dalam teks rujukan. Kadar yang rendah masih boleh menyembunyikan kesilapan yang menjejaskan kerja, seperti tanda tolak yang hilang atau perkataan pada bahagian rakaman yang salah. Semak butiran ini sebelum menerima hasil kerja. [Cara kadar kesilapan perkataan dikira](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Semak sama ada perkataan berada pada bahagian rakaman yang betul

Andaikan rujukan mempunyai dua segmen, `turn left` dan `then stop`. Hasil yang diserahkan mengandungi `turn left then` dan `stop`. Apabila kedua-duanya digabungkan, kadar kesilapan ialah 0% kerana keempat-empat perkataan masih dalam susunan yang betul. Apabila segmen dinilai berasingan, kadarnya ialah 50% kerana `then` ditambah pada segmen pertama dan hilang daripada segmen kedua. Nilai setiap segmen secara berasingan jika sempadan segmen penting untuk kerja itu. [Contoh mengikut segmen](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#segment-example)

## Sertakan klip senyap dalam ujian

Dalam ujian rekaan dengan dua klip pertuturan, kadar kesilapan sistem A ialah 0% dan sistem B ialah 12.5%. Kami menambah satu klip yang disahkan senyap. A menghasilkan dua perkataan pada klip itu dan kadarnya meningkat kepada 25%. Kadar B kekal pada 12.5%. Jika hasil kerja merangkumi bahagian senyap, laporkan bilangan klip yang disahkan senyap tetapi mengandungi teks yang tidak diingini. Tandakan klip tanpa rujukan secara berasingan supaya tidak dikira sebagai klip senyap. [Contoh klip senyap](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Semak nombor dalam teks asal

Dalam satu ujian, peraturan pemarkahan menganggap `offset -5 meters` dan `offset 5 meters` serupa. Perkara yang sama berlaku kepada `offset 1.5 meters` dan `offset 15 meters`. Dalam ujian Whisper yang berasingan, normalisasi pertama mengekalkan tanda tolak daripada “negative one point five”. Normalisasi kedua membuang tanda itu dan kadar kesilapan bagi jawapan yang sama tanpa tanda tolak turun daripada 33.3% kepada 0%. Jika nombor penting, semak teks asal dan rekod berapa kali setiap teks dinormalisasikan. [Ujian tanda baca](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Ujian Whisper](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#whisper-test)

## Nilai semula klip yang sama apabila peraturan berubah

Kami menilai transkrip tersimpan daripada dua model ARK-ASR pada 18,760 klip GigaSpeech yang sama. Dengan transkrip rujukan asal, kemas kini pemarkahan Open ASR menaikkan kadar kesilapan perkataan model lebih besar daripada 6.93% kepada 15.11% dan model lebih kecil daripada 7.39% kepada 15.50%. Peraturan baharu mengira penanda tanda baca seperti `<COMMA>` sebagai perkataan. Dengan transkrip rujukan yang telah dibersihkan untuk klip yang sama, kadar kedua-dua model masing-masing ialah 6.93% dan 7.39% apabila dibundarkan kepada dua tempat perpuluhan, di bawah kedua-dua versi peraturan. [Perbandingan skor](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#score-comparison)

Apabila peraturan pemarkahan berubah, kira semula kedua-dua skor menggunakan klip dan rujukan yang sama. Dalam contoh rekaan yang berasingan, program pemarkahan yang dikemas kini memulangkan keputusan terdahulu daripada fail tersimpan sehingga kami mengarahkannya membuat pengiraan semula. Pastikan program itu benar-benar mengira semula skor sebelum anda membandingkan keputusan. [Ujian skor tersimpan](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Lihat pengaruh satu rakaman apabila keputusan hampir sama

Sesetengah rakaman menghasilkan banyak klip. Dalam ujian GigaSpeech, kami mengetepikan satu rakaman lengkap pada setiap giliran dan membandingkan model berdasarkan klip yang tinggal. Dengan rujukan yang telah dibersihkan dan peraturan lebih baharu, model lebih besar mendahului sebanyak 0.46 mata peratusan bagi kesemua 131 rakaman. Apabila satu rakaman diketepikan, kelebihan itu berada antara 0.43 hingga 0.48 mata. Gunakan semakan ini untuk mengetahui sama ada satu rakaman menentukan hasil perbandingan yang sengit. [Ujian mengikut rakaman](https://sapien1.com/ms/research/transcript-score-acceptance/evidence.html#recording-test)
