งานวิจัย
วิธีตรวจคะแนนการถอดเสียงก่อนรับมอบงาน
ขอรายการคลิป ข้อความอ้างอิงสำหรับประเมิน ข้อความถอดเสียงที่ส่งมอบ และการตั้งค่าที่ใช้ให้คะแนน อัตราคำผิดนับจำนวนคำที่ถูกแทนที่ ตกหล่น หรือเพิ่มขึ้นต่อข้อความอ้างอิง 100 คำ แม้อัตราจะต่ำก็ยังอาจมีข้อผิดพลาดที่สำคัญต่องาน เช่น เครื่องหมายลบหายไป หรือคำไปอยู่ผิดช่วงของเสียงบันทึก ตรวจรายละเอียดเหล่านี้ก่อนรับมอบงาน วิธีคำนวณอัตราคำผิด
ตรวจว่าคำอยู่ในช่วงที่ถูกต้องของเสียงบันทึก
สมมติว่าข้อความอ้างอิงมีสองช่วง คือ turn left และ then stop แต่ข้อความที่ได้รับแบ่งเป็น turn left then และ stop เมื่อนำสองช่วงมาต่อกัน อัตราคำผิดจะเป็น 0% เพราะคำทั้งสี่เรียงตรงกัน หากให้คะแนนแยกช่วง อัตราคำผิดจะเป็น 50% เพราะ then เกินมาในช่วงแรกและหายจากช่วงที่สอง หากขอบเขตแต่ละช่วงสำคัญต่องาน ให้ประเมินแต่ละช่วงแยกกัน ตัวอย่างการประเมินแยกช่วง
เก็บคลิปเงียบไว้ในการทดสอบ
ในการทดสอบสมมติที่ใช้คลิปเสียงพูดสองคลิป ระบบ A มีอัตราคำผิด 0% ส่วนระบบ B มี 12.5% เมื่อเราเพิ่มคลิปที่ยืนยันแล้วว่าเงียบหนึ่งคลิป ระบบ A สร้างคำขึ้นมาสองคำ ทำให้อัตราคำผิดเพิ่มเป็น 25% ส่วนระบบ B ยังอยู่ที่ 12.5% หากงานที่ส่งมอบมีช่วงเงียบ ให้รายงานจำนวนคลิปที่ยืนยันว่าเงียบแต่มีข้อความที่ไม่ควรปรากฏ แยกคลิปที่ไม่มีข้อความอ้างอิงไว้ต่างหากเพื่อไม่ให้นับเป็นคลิปเงียบ ตัวอย่างคลิปเงียบ
ตรวจตัวเลขจากข้อความต้นฉบับ
ในการทดสอบหนึ่ง กติกาการให้คะแนนมองว่า offset -5 meters กับ offset 5 meters เหมือนกัน และมองว่า offset 1.5 meters กับ offset 15 meters เหมือนกันด้วย ในการทดสอบ Whisper แยกต่างหาก การปรับรูปแบบครั้งแรกเก็บเครื่องหมายลบจาก “negative one point five” ไว้ แต่ครั้งที่สองตัดเครื่องหมายลบออก เมื่อเทียบกับคำตอบเดิมที่ไม่มีเครื่องหมาย อัตราคำผิดจึงลดจาก 33.3% เป็น 0% หากตัวเลขสำคัญ ให้ตรวจจากข้อความต้นฉบับและบันทึกว่าปรับรูปแบบแต่ละข้อความกี่ครั้ง การทดสอบเครื่องหมายวรรคตอน · การทดสอบ Whisper
ให้คะแนนคลิปชุดเดิมใหม่เมื่อกติกาเปลี่ยน
เราประเมินข้อความถอดเสียงที่บันทึกไว้จากโมเดล ARK-ASR สองรุ่นด้วยคลิป GigaSpeech ชุดเดียวกัน 18,760 คลิป เมื่อใช้ข้อความอ้างอิงเดิม การอัปเดตวิธีให้คะแนนของ Open ASR ทำให้อัตราคำผิดของโมเดลขนาดใหญ่เพิ่มจาก 6.93% เป็น 15.11% และของโมเดลขนาดเล็กเพิ่มจาก 7.39% เป็น 15.50% กติกาใหม่ถือว่าป้ายเครื่องหมายวรรคตอนอย่าง <COMMA> เป็นคำ เมื่อใช้ข้อความอ้างอิงที่ผ่านการทำความสะอาดสำหรับคลิปชุดเดิม โมเดลทั้งสองได้ 6.93% และ 7.39% ตามลำดับเมื่อปัดเป็นทศนิยมสองตำแหน่ง ทั้งภายใต้กติกาเดิมและกติกาใหม่ เปรียบเทียบคะแนน
เมื่อกติกาการให้คะแนนเปลี่ยน ให้คำนวณคะแนนทั้งสองใหม่จากคลิปและข้อความอ้างอิงชุดเดียวกัน ในตัวอย่างสมมติอีกกรณี โปรแกรมที่อัปเดตยังใช้ผลเก่าจากไฟล์เดิมจนกว่าเราจะสั่งให้คำนวณใหม่โดยตรง ตรวจว่าโปรแกรมคำนวณอีกครั้งจริงก่อนนำผลมาเปรียบเทียบ การทดสอบคะแนนที่บันทึกไว้
ดูว่าเสียงบันทึกหนึ่งรายการมีผลแค่ไหนเมื่อคะแนนสูสีกัน
เสียงบันทึกบางรายการถูกแบ่งเป็นหลายคลิป ในการทดสอบ GigaSpeech เราตัดเสียงบันทึกออกทั้งรายการครั้งละหนึ่งรายการ แล้วเทียบโมเดลด้วยคลิปที่เหลือ เมื่อรวมเสียงบันทึกทั้ง 131 รายการและใช้ข้อความอ้างอิงที่ผ่านการทำความสะอาดกับกติกาใหม่ อัตราคำผิดของโมเดลขนาดใหญ่ต่ำกว่าของโมเดลขนาดเล็ก 0.46 จุดเปอร์เซ็นต์ เมื่อตัดออกหนึ่งรายการ ความได้เปรียบอยู่ระหว่าง 0.43 ถึง 0.48 จุด วิธีนี้ช่วยตรวจว่าเสียงบันทึกเพียงรายการเดียวชี้ขาดผลที่สูสีกันหรือไม่ การทดสอบแยกตามเสียงบันทึก