# หลักฐานประกอบการตรวจคะแนนการถอดเสียง

ตัวอย่างต่อไปนี้ใช้ข้อความสมมติหรือผลรวมจากผลงานที่ส่งเข้าร่วมการทดสอบมาตรฐานสาธารณะ อัตราความผิดพลาดของคำ (WER) คำนวณโดยนำจำนวนคำที่แทรก ลบ และแทนที่ทั้งหมดหารด้วยจำนวนคำในข้อความอ้างอิง แล้วคูณผลลัพธ์ด้วย 100 เพื่อแสดงเป็นเปอร์เซ็นต์ [การให้คะแนนและการจัดแนวข้อความด้วย JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## ตัวอย่างการแบ่งช่วงเสียง

ข้อความอ้างอิงในแต่ละช่วงคือ `turn left` และ `then stop` ส่วนข้อความที่ส่งมอบคือ `turn left then` และ `stop` เมื่อให้คะแนนแยกตามช่วง ระบบนับว่ามีการแทรกและการลบคำ `then` อย่างละ 1 ครั้ง รวมเป็นข้อผิดพลาด 2 ครั้งจากคำอ้างอิง 4 คำ หรือ 50% เมื่อรวมข้อความแต่ละช่วงเข้าด้วยกัน ทั้งสองฝั่งจะได้ `turn left then stop` โดยไม่มีข้อผิดพลาดจากคำ 4 คำ การเปรียบเทียบนี้ใช้ข้อความในช่วงที่ให้มา หากต้องการตรวจว่าคำปรากฏเมื่อใดในเสียงบันทึก ต้องตรวจเสียงและเวลาที่ระบุ [การจัดแนวข้อความด้วย JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## ตัวอย่างคลิปเงียบ

ตัวเลขเหล่านี้เป็นอัตราที่คำนวณรวมจากคลิปสมมติ คลิปเสียงพูด 2 คลิปมีคำอ้างอิงรวม 8 คำ ส่วนคลิปที่ 3 ตรวจสอบแล้วว่าเงียบ จึงมีคำอ้างอิง 0 คำ

| คลิปที่ให้คะแนน | ข้อผิดพลาดของคำจากระบบ A | ข้อผิดพลาดของคำจากระบบ B | คำอ้างอิง | WER ของ A | WER ของ B |
| --- | ---: | ---: | ---: | ---: | ---: |
| คลิปเสียงพูด 2 คลิป | 0 | 1 | 8 | 0% | 12.5% |
| คลิปเสียงพูด 2 คลิปและคลิปเงียบ 1 คลิป | 2 | 1 | 8 | 25% | 12.5% |

ระบบ A สร้างคำ 2 คำในคลิปเงียบ ส่วนระบบ B ปล่อยว่างไว้ ให้รายงานคลิปที่ตรวจสอบแล้วว่าเงียบแต่มีคำที่ไม่ต้องการแยกจากอัตราความผิดพลาดของคำที่คำนวณรวม และกำหนดสถานะแยกสำหรับคลิปที่ไม่มีข้อความอ้างอิง [กติกาของ JiWER 4 สำหรับข้อความอ้างอิงที่ว่างเปล่า](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## การทดสอบเครื่องหมายวรรคตอน

ทดสอบ JiWER 4.0.0 กับข้อความสมมติ 2 คู่ โดยเปิดใช้ตัวเลือกนำเครื่องหมายวรรคตอนออกจากข้อความทั้งสองฝั่ง หลังแปลงข้อความ `offset -5 meters` และ `offset 5 meters` จะเหมือนกัน เช่นเดียวกับ `offset 1.5 meters` และ `offset 15 meters` ทั้งสองคู่มี WER เท่ากับ 0% หลังการแปลง แม้ว่าตัวเลขในข้อความต้นฉบับของทั้งสองคู่จะแตกต่างกัน [การนำเครื่องหมายวรรคตอนออกด้วย JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## การทดสอบ Whisper

ในอีกตัวอย่างสมมติหนึ่ง ตัวปรับข้อความภาษาอังกฤษของ Whisper ที่ระบุเวอร์ชันไว้แปลง `offset negative one point five meters` เป็น `offset -one.5 meters` ข้อความคาดการณ์ที่คงไว้หลังผ่านการปรับ 1 รอบคือ `offset one.5 meters` ข้อความทั้งสองต่างกัน 1 คำจาก 3 คำ หรือมี WER เท่ากับ 33.3% การปรับรอบที่ 2 แปลงข้อความอ้างอิงที่บันทึกไว้เป็น `offset one.5 meters` เมื่อเทียบกับข้อความคาดการณ์เดิม จำนวนข้อผิดพลาดจะเป็น 0 การนำข้อมูลมาประมวลผลซ้ำนี้เป็นการทดสอบการให้คะแนนข้อความ [รุ่นที่เผยแพร่ของ Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [ตัวปรับข้อความภาษาอังกฤษที่ระบุเวอร์ชันไว้](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## การเปรียบเทียบคะแนน

จับคู่ผลลัพธ์ที่บันทึกไว้ของโมเดลทั้ง 2 กับชุดย่อย GigaSpeech ที่ทำความสะอาดแล้วโดยใช้ ID ของคลิป ผลงานที่ส่งของทั้งสองโมเดลมี ID คลิปชุดเดียวกันและมีข้อความอ้างอิงต้นฉบับตรงกันในแต่ละคลิป ชุดที่ตรงกับชุดย่อยที่ทำความสะอาดแล้วมี **18,760 คลิป** ให้คะแนนคลิปชุดเดียวกันนี้ด้วยข้อความอ้างอิงต้นฉบับและข้อความอ้างอิงที่ทำความสะอาดแล้ว โดยคงข้อความคาดการณ์ที่บันทึกไว้ของแต่ละโมเดลให้เหมือนเดิมเมื่อใช้ระบบให้คะแนนแต่ละรุ่น ระบบให้คะแนนแต่ละรุ่นใช้วิธีปรับข้อความภาษาอังกฤษของรุ่นนั้น การจัดแนวข้อความใช้ Kaldialign 0.12.0 โดยเปิดการรวมคำประสม รวมจำนวนข้อผิดพลาดและจำนวนคำอ้างอิงของคลิปที่จับคู่แล้วก่อนนำมาหารกัน

ระบบให้คะแนนที่ใช้เป็นรุ่นแก้ไข `edd68424736537b6d0191be325ae3605c33de284` และ `f58d58a3f98eb9d5c2dd284ce85954b3cd801759` [ระบบให้คะแนนรุ่นก่อนหน้า](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [ระบบให้คะแนนรุ่นปรับปรุง](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| ข้อความอ้างอิง | โมเดล | ข้อผิดพลาด / จำนวนคำ รุ่นก่อนหน้า | WER รุ่นก่อนหน้า | ข้อผิดพลาด / จำนวนคำ รุ่นปรับปรุง | WER รุ่นปรับปรุง |
| --- | --- | ---: | ---: | ---: | ---: |
| ต้นฉบับ | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| ต้นฉบับ | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| ทำความสะอาดแล้ว | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| ทำความสะอาดแล้ว | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

ในไฟล์รายการ GigaSpeech ต้นฉบับของ 3B เมื่อนำเครื่องหมายวรรคตอน 4 ประเภทที่ระบุไว้ในเอกสารของ GigaSpeech ออกก่อนใช้วิธีปรับข้อความรุ่นใหม่ จะได้หน่วยคำในข้อความอ้างอิงและข้อความคาดการณ์กลับมาตรงกับที่ได้จากวิธีเดิมทั้ง 19,898 แถว สำหรับ 0.6B ที่ใช้ข้อความอ้างอิงซึ่งทำความสะอาดแล้ว อัตราที่ได้เมื่อปัดเศษเป็นเปอร์เซ็นต์เท่ากัน โดยกติการุ่นปรับปรุงนับข้อผิดพลาดได้น้อยกว่า 5 ครั้ง ผลเหล่านี้มาจากการนำผลงานที่บันทึกไว้ของผู้เผยแพร่รายเดียวมาประมวลผลซ้ำ และแสดงผลที่มีต่อผลลัพธ์ชุดนี้ภายใต้การตั้งค่าการให้คะแนนที่ระบุไว้ [การเตรียมข้อความ GigaSpeech ก่อนประมวลผล](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[ผลงานที่ส่งของ 3B ซึ่งระบุเวอร์ชันไว้](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [ผลงานที่ส่งของ 0.6B ซึ่งระบุเวอร์ชันไว้](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [ข้อความอ้างอิงที่ทำความสะอาดแล้วและระบุเวอร์ชันไว้](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## การทดสอบคะแนนที่บันทึกไว้

ข้อความอ้างอิงสมมติคือ `we [need to leave] now` และข้อความคาดการณ์คือ `we now` ระบบให้คะแนนรุ่นก่อนหน้านำคำ 3 คำในวงเล็บเหลี่ยมออกและให้คะแนนข้อความคู่นี้ที่ WER เท่ากับ 0% เมื่อเก็บไฟล์คะแนนเดิมไว้ ระบบให้คะแนนรุ่นปรับปรุงจะคืนค่า 0% โดยไม่จัดแนวข้อความคู่ใดเลย เมื่อสั่งให้คำนวณใหม่ ระบบจะจัดแนวข้อความ 1 คู่ เก็บคำในวงเล็บเหลี่ยมไว้เป็นคำอ้างอิง และนับการลบ 3 ครั้งจาก 5 คำ หรือ 60% การเปลี่ยนแปลงที่ผสานแล้วระบุตัวเลือกการคำนวณใหม่นี้ไว้ [การเปลี่ยนแปลงการให้คะแนน Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## การทดสอบตามเสียงบันทึก

จัดกลุ่มคลิปที่จับคู่แล้ว 18,760 คลิปตามเสียงบันทึกต้นฉบับที่ระบุไว้ใน ID คลิป GigaSpeech สำหรับแต่ละกลุ่มจากทั้งหมด 131 กลุ่ม ให้นำคลิปทั้งหมดในกลุ่มนั้นออกจากทั้งสองระบบ แล้วคำนวณส่วนต่างใหม่โดยใช้คำอ้างอิงที่เหลือ ส่วนต่างคือ WER ของ 0.6B ลบด้วย WER ของ 3B เมื่อใช้ข้อความอ้างอิงที่ทำความสะอาดแล้วและระบบให้คะแนนรุ่นใหม่ ส่วนต่างของคลิปทั้งชุดคือ `100 × (29,336 − 27,506) / 397,143` หรือ **0.460791 จุดเปอร์เซ็นต์** ผลจากการนำออกทั้ง 131 ครั้งอยู่ระหว่าง **0.430797 ถึง 0.478149 จุดเปอร์เซ็นต์** การนำออกแต่ละครั้งยังคงให้ลำดับเดิม การทดสอบนี้ตรวจว่าผลของชุดคลิปที่จับคู่แล้วเปลี่ยนไปเพียงใดเมื่อนำเสียงบันทึกออกครั้งละ 1 รายการ [ตัวระบุเสียงบันทึกและช่วงเสียงของ GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
