# Cách kiểm tra điểm bản chép lời trước khi nghiệm thu

Hãy yêu cầu danh sách đoạn âm thanh, văn bản tham chiếu dùng để chấm, bản chép lời đã bàn giao và các thiết lập chấm điểm. Tỷ lệ lỗi từ đếm số từ bị thay thế, bỏ sót hoặc thêm vào trên mỗi 100 từ tham chiếu. Tỷ lệ thấp vẫn có thể che khuất lỗi quan trọng đối với công việc, chẳng hạn như mất dấu trừ hoặc một từ xuất hiện ở sai vị trí trong bản ghi. Hãy kiểm tra những chi tiết này trước khi nghiệm thu. [Cách tính tỷ lệ lỗi từ](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Kiểm tra từ có nằm đúng phần của bản ghi không

Giả sử văn bản tham chiếu có hai đoạn là `turn left` và `then stop`. Bản chép lời bàn giao chia thành `turn left then` và `stop`. Khi ghép các đoạn lại, tỷ lệ lỗi từ là 0% vì cả bốn từ đều đúng thứ tự. Khi chấm riêng từng đoạn, tỷ lệ là 50% vì `then` được thêm ở đoạn đầu và bị thiếu ở đoạn sau. Nếu ranh giới giữa các đoạn quan trọng đối với công việc, hãy chấm từng đoạn riêng. [Ví dụ chấm theo đoạn](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#segment-example)

## Giữ các đoạn im lặng trong bài kiểm tra

Trong một bài kiểm tra giả định trên hai đoạn có lời nói, hệ thống A có tỷ lệ lỗi từ 0% và hệ thống B có tỷ lệ 12,5%. Chúng tôi thêm một đoạn đã xác nhận là im lặng. A tạo ra hai từ ở đoạn đó, khiến tỷ lệ tăng lên 25%. B vẫn ở mức 12,5%. Nếu bản giao có phần im lặng, hãy báo cáo số đoạn đã xác nhận im lặng nhưng vẫn xuất hiện văn bản không mong muốn. Đánh dấu riêng các đoạn thiếu văn bản tham chiếu để tránh tính chúng là đoạn im lặng. [Ví dụ về đoạn im lặng](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## Đối chiếu các con số với văn bản gốc

Trong một thử nghiệm, quy tắc chấm coi `offset -5 meters` và `offset 5 meters` là giống nhau. Điều tương tự xảy ra với `offset 1.5 meters` và `offset 15 meters`. Trong một thử nghiệm khác với Whisper, lần chuẩn hóa đầu tiên giữ lại dấu trừ trong “negative one point five”. Lần chuẩn hóa thứ hai bỏ dấu trừ, khiến tỷ lệ lỗi từ của cùng một câu trả lời không có dấu giảm từ 33,3% xuống 0%. Nếu các con số quan trọng, hãy đọc chúng trong văn bản gốc và ghi lại số lần chuẩn hóa từng văn bản. [Thử nghiệm dấu câu](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#punctuation-test) · [Thử nghiệm Whisper](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#whisper-test)

## Chấm lại cùng các đoạn âm thanh khi quy tắc thay đổi

Chúng tôi chấm các bản chép lời đã lưu của hai mô hình ARK-ASR trên cùng 18.760 đoạn GigaSpeech. Khi dùng văn bản tham chiếu gốc, một bản cập nhật cách chấm của Open ASR làm tỷ lệ lỗi từ của mô hình lớn tăng từ 6,93% lên 15,11%, còn mô hình nhỏ tăng từ 7,39% lên 15,50%. Quy tắc mới tính các ký hiệu dấu câu như `<COMMA>` là từ. Khi dùng văn bản tham chiếu đã làm sạch cho cùng các đoạn, tỷ lệ của hai mô hình lần lượt là 6,93% và 7,39% sau khi làm tròn đến hai chữ số thập phân, theo cả hai phiên bản quy tắc. [So sánh điểm](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#score-comparison)

Khi quy tắc thay đổi, hãy tính lại cả hai điểm trên cùng các đoạn và văn bản tham chiếu. Trong một ví dụ giả định khác, chương trình chấm điểm đã cập nhật trả về kết quả cũ từ tệp đã lưu cho đến khi chúng tôi yêu cầu tính lại một cách rõ ràng. Trước khi so sánh, hãy kiểm tra xem chương trình đã thực sự tính lại điểm chưa. [Thử nghiệm với điểm đã lưu](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#saved-score-test)

## Xem một bản ghi ảnh hưởng ra sao khi kết quả sít sao

Một số bản ghi cung cấp nhiều đoạn âm thanh. Trong thử nghiệm GigaSpeech, mỗi lần chúng tôi bỏ trọn một bản ghi rồi so sánh các mô hình trên những đoạn còn lại. Với văn bản tham chiếu đã làm sạch và quy tắc mới hơn, mô hình lớn hơn dẫn 0,46 điểm phần trăm trên toàn bộ 131 bản ghi. Khi bỏ một bản ghi, mức chênh lệch dao động từ 0,43 đến 0,48 điểm. Dùng phép kiểm tra này để xem một bản ghi có quyết định kết quả sít sao hay không. [Thử nghiệm theo bản ghi](https://sapien1.com/vi/research/transcript-score-acceptance/evidence.html#recording-test)
