# Cara memeriksa skor transkrip sebelum menerima hasil pekerjaan

Minta daftar klip, teks acuan, transkrip hasil pekerjaan, dan pengaturan penilaian. Tingkat kesalahan kata menghitung kata yang diganti, terlewat, atau ditambahkan per 100 kata acuan. Skor yang rendah masih bisa menyembunyikan kesalahan penting, seperti hilangnya tanda minus atau kata yang muncul di bagian rekaman yang keliru. Periksa hal-hal tersebut sebelum menerima hasil pekerjaan. [Cara menghitung tingkat kesalahan kata](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Periksa apakah kata berada di bagian rekaman yang semestinya

Misalkan teks acuan memiliki dua segmen, `turn left` dan `then stop`. Hasilnya berbunyi `turn left then` dan `stop`. Jika teks digabung, tingkat kesalahannya 0% karena keempat kata berada dalam urutan yang benar. Jika tiap segmen dinilai sendiri, tingkatnya 50% karena `then` ditambahkan di segmen pertama dan hilang di segmen kedua. Nilai setiap segmen secara terpisah jika batas segmen penting bagi pekerjaan Anda. [Contoh segmen](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#segment-example)

## Sertakan klip senyap dalam pengujian

Dalam uji fiktif dengan dua klip suara, tingkat kesalahan kata sistem A sebesar 0% dan sistem B sebesar 12,5%. Kami menambahkan satu klip yang sudah dipastikan senyap. Sistem A menghasilkan dua kata pada klip itu dan tingkat kesalahannya naik menjadi 25%. Sistem B tetap di 12,5%. Jika hasil pekerjaan mencakup bagian senyap, laporkan jumlah klip yang dipastikan senyap tetapi berisi teks yang tidak diinginkan. Tandai klip tanpa teks acuan secara terpisah agar tidak dihitung sebagai klip senyap. [Contoh klip senyap](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Periksa angka dalam teks asli

Dalam satu pengujian, aturan penilaian menganggap `offset -5 meters` sama dengan `offset 5 meters`. Hal yang sama terjadi pada `offset 1.5 meters` dan `offset 15 meters`. Dalam uji Whisper yang terpisah, normalisasi pertama mempertahankan tanda minus pada “negative one point five”. Normalisasi kedua menghapusnya. Untuk jawaban yang sama tanpa tanda minus, tingkat kesalahan kata turun dari 33,3% menjadi 0%. Jika angka penting, baca angka di teks asli dan catat berapa kali setiap teks dinormalisasi. [Uji tanda baca](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Uji Whisper](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#whisper-test)

## Nilai ulang klip yang sama saat aturan berubah

Kami menilai transkrip tersimpan dari dua model ARK-ASR pada 18.760 klip GigaSpeech yang sama. Dengan transkrip acuan asli, pembaruan penilaian Open ASR menaikkan tingkat kesalahan kata model yang lebih besar dari 6,93% menjadi 15,11% dan model yang lebih kecil dari 7,39% menjadi 15,50%. Aturan baru menghitung penanda tanda baca seperti `<COMMA>` sebagai kata. Dengan transkrip acuan yang telah dibersihkan untuk klip yang sama, kedua model masing-masing memperoleh 6,93% dan 7,39% setelah dibulatkan ke dua angka desimal, pada kedua versi aturan. [Perbandingan skor](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#score-comparison)

Saat aturan penilaian berubah, hitung ulang kedua skor dengan klip dan acuan yang sama. Dalam contoh fiktif terpisah, program penilaian yang diperbarui mengambil hasil sebelumnya dari berkas tersimpan sampai kami meminta penghitungan ulang secara eksplisit. Pastikan penghitungan ulang benar-benar berjalan sebelum membandingkan hasilnya. [Uji skor tersimpan](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Lihat pengaruh satu rekaman terhadap hasil yang berdekatan

Sebagian rekaman menghasilkan banyak klip. Dalam uji GigaSpeech, kami mengeluarkan satu rekaman utuh secara bergiliran lalu membandingkan model pada klip yang tersisa. Dengan acuan yang telah dibersihkan dan aturan baru, model yang lebih besar unggul 0,46 poin persentase pada keseluruhan 131 rekaman. Saat satu rekaman dikeluarkan, keunggulannya berkisar antara 0,43 dan 0,48 poin. Gunakan pemeriksaan ini untuk mengetahui apakah satu rekaman menentukan hasil perbandingan yang ketat. [Uji per rekaman](https://sapien1.com/id/research/transcript-score-acceptance/evidence.html#recording-test)
