# Bằng chứng để kiểm tra điểm bản chép lời

Các ví dụ dưới đây sử dụng văn bản giả định hoặc kết quả tổng hợp từ các bài nộp cho bộ dữ liệu đánh giá công khai. Tỷ lệ lỗi từ (WER) được tính bằng cách chia tổng số lỗi thêm, xóa và thay thế từ cho số từ trong văn bản tham chiếu. Nhân kết quả với 100 để biểu thị dưới dạng phần trăm. [Cách chấm điểm và căn chỉnh của JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## Ví dụ về các đoạn

Các đoạn tham chiếu là `turn left` và `then stop`. Các đoạn được bàn giao là `turn left then` và `stop`. Khi chấm riêng từng đoạn, bộ chấm điểm tính một lỗi thêm và một lỗi xóa đối với `then`. Như vậy có 2 lỗi trên 4 từ tham chiếu, tương đương 50%. Khi nối các đoạn lại, cả hai bên đều có `turn left then stop`, với 0 lỗi trên 4 từ. Phép so sánh này đối chiếu văn bản trong các đoạn được cung cấp. Để xác minh thời điểm các từ xuất hiện trong bản ghi, cần kiểm tra âm thanh và dấu thời gian. [Cách căn chỉnh của JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## Ví dụ về đoạn âm thanh im lặng

Đây là các tỷ lệ tính gộp cho những đoạn âm thanh giả định. Hai đoạn có lời nói cung cấp 8 từ tham chiếu. Đoạn thứ ba đã được xác minh là im lặng và không đóng góp từ tham chiếu nào.

| Các đoạn âm thanh được chấm điểm | Số lỗi từ của hệ thống A | Số lỗi từ của hệ thống B | Số từ tham chiếu | WER của A | WER của B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 đoạn có lời nói | 0 | 1 | 8 | 0% | 12.5% |
| 2 đoạn có lời nói và 1 đoạn im lặng | 2 | 1 | 8 | 25% | 12.5% |

A tạo ra 2 từ trong đoạn im lặng. B để trống đoạn đó. Hãy báo cáo riêng các đoạn đã xác minh là im lặng nhưng có từ không mong muốn, tách khỏi tỷ lệ lỗi từ tính gộp. Gán trạng thái riêng cho các đoạn thiếu văn bản tham chiếu. [Quy tắc của JiWER 4 cho văn bản tham chiếu rỗng](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## Kiểm tra dấu câu

JiWER 4.0.0 được chạy trên 2 cặp văn bản giả định, với tùy chọn xóa dấu câu được áp dụng cho cả hai bên. `offset -5 meters` và `offset 5 meters` trở nên giống hệt nhau. `offset 1.5 meters` và `offset 15 meters` cũng vậy. Sau phép biến đổi, cả hai phép so sánh đều cho WER 0%. Các giá trị số ban đầu khác nhau trong cả hai cặp. [Cách xóa dấu câu của JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Kiểm tra Whisper

Trong một ví dụ giả định khác, bộ chuẩn hóa tiếng Anh của Whisper ở phiên bản được cố định biến đổi `offset negative one point five meters` thành `offset -one.5 meters`. Văn bản dự đoán được giữ cố định sau một lần làm sạch là `offset one.5 meters`. Hai văn bản khác nhau 1 từ trên tổng số 3 từ, tương đương WER 33.3%. Lần xử lý thứ hai biến đổi văn bản tham chiếu đã lưu thành `offset one.5 meters`. Khi so với cùng văn bản dự đoán, số lỗi trở thành 0. Lần chạy lại này kiểm tra cách chấm điểm văn bản. [Bản phát hành Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [Bộ chuẩn hóa tiếng Anh ở phiên bản được cố định](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## So sánh điểm

Đối chiếu kết quả đã lưu của 2 mô hình với tập GigaSpeech đã làm sạch theo mã đoạn âm thanh. Hai bài nộp của mô hình chứa cùng các mã đoạn và thống nhất về văn bản tham chiếu gốc của từng đoạn. Phần giao với tập đã làm sạch chứa **18,760 đoạn âm thanh**. Chấm điểm cùng tập đoạn đó với văn bản tham chiếu gốc và văn bản đã làm sạch. Giữ nguyên văn bản dự đoán đã lưu của mỗi mô hình khi dùng các bộ chấm điểm. Mỗi phiên bản bộ chấm điểm cung cấp cách chuẩn hóa tiếng Anh riêng. Việc căn chỉnh dùng Kaldialign 0.12.0 và bật tính năng gộp từ ghép. Cộng số lỗi và số từ tham chiếu trên các đoạn đã đối chiếu trước khi thực hiện phép chia.

Các phiên bản bộ chấm điểm là `edd68424736537b6d0191be325ae3605c33de284` và `f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [Bộ chấm điểm trước đây](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [Bộ chấm điểm đã cập nhật](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| Văn bản tham chiếu | Mô hình | Số lỗi / số từ trước đây | WER trước đây | Số lỗi / số từ sau cập nhật | WER sau cập nhật |
| --- | --- | ---: | ---: | ---: | ---: |
| Gốc | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| Gốc | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| Đã làm sạch | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| Đã làm sạch | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

Trên danh sách dữ liệu GigaSpeech gốc của mô hình 3B, việc xóa 4 loại ký hiệu dấu câu được ghi nhận trong tài liệu của GigaSpeech trước khi áp dụng cách chuẩn hóa mới hơn khôi phục các đơn vị từ tham chiếu và dự đoán như trước đây trên cả 19,898 dòng. Với văn bản tham chiếu đã làm sạch, các tỷ lệ của mô hình 0.6B được làm tròn thành cùng một giá trị phần trăm, trong khi quy tắc cập nhật cho ít hơn 5 lỗi. Đây là các lần chạy lại những bài nộp đã lưu từ một bên công bố. Chúng xác định ảnh hưởng đối với các kết quả này trong điều kiện chấm điểm đã cố định. [Tiền xử lý văn bản GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[Bài nộp 3B ở phiên bản được cố định](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Bài nộp 0.6B ở phiên bản được cố định](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [Văn bản tham chiếu đã làm sạch ở phiên bản được cố định](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## Kiểm tra điểm đã lưu

Văn bản tham chiếu giả định là `we [need to leave] now`. Văn bản dự đoán là `we now`. Bộ chấm điểm trước đây xóa 3 từ trong ngoặc vuông và chấm cặp văn bản này với WER 0%. Khi giữ lại tệp điểm, bộ chấm điểm đã cập nhật trả về 0% và không căn chỉnh cặp nào. Khi yêu cầu tính lại, bộ này căn chỉnh 1 cặp, giữ các từ trong ngoặc vuông làm từ tham chiếu và trả về 3 lỗi xóa trên 5 từ, tương đương 60%. Thay đổi đã được hợp nhất có ghi nhận tùy chọn tính lại. [Thay đổi cách chấm điểm của Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## Kiểm tra theo bản ghi

Nhóm 18,760 đoạn đã đối chiếu theo bản ghi gốc được mã hóa trong mã đoạn âm thanh GigaSpeech. Với mỗi nhóm trong số 131 nhóm, loại toàn bộ đoạn của nhóm đó khỏi cả hai hệ thống và tính lại mức chênh lệch bằng các từ tham chiếu còn lại. Mức chênh lệch bằng WER của 0.6B trừ WER của 3B. Với văn bản tham chiếu đã làm sạch và bộ chấm điểm mới hơn, mức chênh lệch trên toàn tập là `100 × (29,336 − 27,506) / 397,143`, tương đương **0.460791 điểm phần trăm**. Kết quả của 131 lần loại nhóm nằm trong khoảng từ **0.430797 đến 0.478149 điểm phần trăm**. Thứ tự của hai hệ thống được giữ nguyên sau mỗi lần loại nhóm. Phép kiểm tra này đánh giá độ nhạy với từng bản ghi trong tập đã đối chiếu. [Mã định danh bản ghi và đoạn âm thanh GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
