# วิธีตรวจคะแนนการถอดเสียงก่อนรับมอบงาน

ขอรายการคลิป ข้อความอ้างอิงสำหรับประเมิน ข้อความถอดเสียงที่ส่งมอบ และการตั้งค่าที่ใช้ให้คะแนน อัตราคำผิดนับจำนวนคำที่ถูกแทนที่ ตกหล่น หรือเพิ่มขึ้นต่อข้อความอ้างอิง 100 คำ แม้อัตราจะต่ำก็ยังอาจมีข้อผิดพลาดที่สำคัญต่องาน เช่น เครื่องหมายลบหายไป หรือคำไปอยู่ผิดช่วงของเสียงบันทึก ตรวจรายละเอียดเหล่านี้ก่อนรับมอบงาน [วิธีคำนวณอัตราคำผิด](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## ตรวจว่าคำอยู่ในช่วงที่ถูกต้องของเสียงบันทึก

สมมติว่าข้อความอ้างอิงมีสองช่วง คือ `turn left` และ `then stop` แต่ข้อความที่ได้รับแบ่งเป็น `turn left then` และ `stop` เมื่อนำสองช่วงมาต่อกัน อัตราคำผิดจะเป็น 0% เพราะคำทั้งสี่เรียงตรงกัน หากให้คะแนนแยกช่วง อัตราคำผิดจะเป็น 50% เพราะ `then` เกินมาในช่วงแรกและหายจากช่วงที่สอง หากขอบเขตแต่ละช่วงสำคัญต่องาน ให้ประเมินแต่ละช่วงแยกกัน [ตัวอย่างการประเมินแยกช่วง](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#segment-example)

## เก็บคลิปเงียบไว้ในการทดสอบ

ในการทดสอบสมมติที่ใช้คลิปเสียงพูดสองคลิป ระบบ A มีอัตราคำผิด 0% ส่วนระบบ B มี 12.5% เมื่อเราเพิ่มคลิปที่ยืนยันแล้วว่าเงียบหนึ่งคลิป ระบบ A สร้างคำขึ้นมาสองคำ ทำให้อัตราคำผิดเพิ่มเป็น 25% ส่วนระบบ B ยังอยู่ที่ 12.5% หากงานที่ส่งมอบมีช่วงเงียบ ให้รายงานจำนวนคลิปที่ยืนยันว่าเงียบแต่มีข้อความที่ไม่ควรปรากฏ แยกคลิปที่ไม่มีข้อความอ้างอิงไว้ต่างหากเพื่อไม่ให้นับเป็นคลิปเงียบ [ตัวอย่างคลิปเงียบ](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## ตรวจตัวเลขจากข้อความต้นฉบับ

ในการทดสอบหนึ่ง กติกาการให้คะแนนมองว่า `offset -5 meters` กับ `offset 5 meters` เหมือนกัน และมองว่า `offset 1.5 meters` กับ `offset 15 meters` เหมือนกันด้วย ในการทดสอบ Whisper แยกต่างหาก การปรับรูปแบบครั้งแรกเก็บเครื่องหมายลบจาก “negative one point five” ไว้ แต่ครั้งที่สองตัดเครื่องหมายลบออก เมื่อเทียบกับคำตอบเดิมที่ไม่มีเครื่องหมาย อัตราคำผิดจึงลดจาก 33.3% เป็น 0% หากตัวเลขสำคัญ ให้ตรวจจากข้อความต้นฉบับและบันทึกว่าปรับรูปแบบแต่ละข้อความกี่ครั้ง [การทดสอบเครื่องหมายวรรคตอน](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#punctuation-test) · [การทดสอบ Whisper](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#whisper-test)

## ให้คะแนนคลิปชุดเดิมใหม่เมื่อกติกาเปลี่ยน

เราประเมินข้อความถอดเสียงที่บันทึกไว้จากโมเดล ARK-ASR สองรุ่นด้วยคลิป GigaSpeech ชุดเดียวกัน 18,760 คลิป เมื่อใช้ข้อความอ้างอิงเดิม การอัปเดตวิธีให้คะแนนของ Open ASR ทำให้อัตราคำผิดของโมเดลขนาดใหญ่เพิ่มจาก 6.93% เป็น 15.11% และของโมเดลขนาดเล็กเพิ่มจาก 7.39% เป็น 15.50% กติกาใหม่ถือว่าป้ายเครื่องหมายวรรคตอนอย่าง `<COMMA>` เป็นคำ เมื่อใช้ข้อความอ้างอิงที่ผ่านการทำความสะอาดสำหรับคลิปชุดเดิม โมเดลทั้งสองได้ 6.93% และ 7.39% ตามลำดับเมื่อปัดเป็นทศนิยมสองตำแหน่ง ทั้งภายใต้กติกาเดิมและกติกาใหม่ [เปรียบเทียบคะแนน](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#score-comparison)

เมื่อกติกาการให้คะแนนเปลี่ยน ให้คำนวณคะแนนทั้งสองใหม่จากคลิปและข้อความอ้างอิงชุดเดียวกัน ในตัวอย่างสมมติอีกกรณี โปรแกรมที่อัปเดตยังใช้ผลเก่าจากไฟล์เดิมจนกว่าเราจะสั่งให้คำนวณใหม่โดยตรง ตรวจว่าโปรแกรมคำนวณอีกครั้งจริงก่อนนำผลมาเปรียบเทียบ [การทดสอบคะแนนที่บันทึกไว้](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#saved-score-test)

## ดูว่าเสียงบันทึกหนึ่งรายการมีผลแค่ไหนเมื่อคะแนนสูสีกัน

เสียงบันทึกบางรายการถูกแบ่งเป็นหลายคลิป ในการทดสอบ GigaSpeech เราตัดเสียงบันทึกออกทั้งรายการครั้งละหนึ่งรายการ แล้วเทียบโมเดลด้วยคลิปที่เหลือ เมื่อรวมเสียงบันทึกทั้ง 131 รายการและใช้ข้อความอ้างอิงที่ผ่านการทำความสะอาดกับกติกาใหม่ อัตราคำผิดของโมเดลขนาดใหญ่ต่ำกว่าของโมเดลขนาดเล็ก 0.46 จุดเปอร์เซ็นต์ เมื่อตัดออกหนึ่งรายการ ความได้เปรียบอยู่ระหว่าง 0.43 ถึง 0.48 จุด วิธีนี้ช่วยตรวจว่าเสียงบันทึกเพียงรายการเดียวชี้ขาดผลที่สูสีกันหรือไม่ [การทดสอบแยกตามเสียงบันทึก](https://sapien1.com/th/research/transcript-score-acceptance/evidence.html#recording-test)
