อ่านบทความ · ดาวน์โหลดหลักฐาน (Markdown)

หลักฐานประกอบการตรวจคะแนนการถอดเสียง

ตัวอย่างต่อไปนี้ใช้ข้อความสมมติหรือผลรวมจากผลงานที่ส่งเข้าร่วมการทดสอบมาตรฐานสาธารณะ อัตราความผิดพลาดของคำ (WER) คำนวณโดยนำจำนวนคำที่แทรก ลบ และแทนที่ทั้งหมดหารด้วยจำนวนคำในข้อความอ้างอิง แล้วคูณผลลัพธ์ด้วย 100 เพื่อแสดงเป็นเปอร์เซ็นต์ การให้คะแนนและการจัดแนวข้อความด้วย JiWER

ตัวอย่างการแบ่งช่วงเสียง

ข้อความอ้างอิงในแต่ละช่วงคือ turn left และ then stop ส่วนข้อความที่ส่งมอบคือ turn left then และ stop เมื่อให้คะแนนแยกตามช่วง ระบบนับว่ามีการแทรกและการลบคำ then อย่างละ 1 ครั้ง รวมเป็นข้อผิดพลาด 2 ครั้งจากคำอ้างอิง 4 คำ หรือ 50% เมื่อรวมข้อความแต่ละช่วงเข้าด้วยกัน ทั้งสองฝั่งจะได้ turn left then stop โดยไม่มีข้อผิดพลาดจากคำ 4 คำ การเปรียบเทียบนี้ใช้ข้อความในช่วงที่ให้มา หากต้องการตรวจว่าคำปรากฏเมื่อใดในเสียงบันทึก ต้องตรวจเสียงและเวลาที่ระบุ การจัดแนวข้อความด้วย JiWER

ตัวอย่างคลิปเงียบ

ตัวเลขเหล่านี้เป็นอัตราที่คำนวณรวมจากคลิปสมมติ คลิปเสียงพูด 2 คลิปมีคำอ้างอิงรวม 8 คำ ส่วนคลิปที่ 3 ตรวจสอบแล้วว่าเงียบ จึงมีคำอ้างอิง 0 คำ

คลิปที่ให้คะแนนข้อผิดพลาดของคำจากระบบ Aข้อผิดพลาดของคำจากระบบ Bคำอ้างอิงWER ของ AWER ของ B
คลิปเสียงพูด 2 คลิป0180%12.5%
คลิปเสียงพูด 2 คลิปและคลิปเงียบ 1 คลิป21825%12.5%

ระบบ A สร้างคำ 2 คำในคลิปเงียบ ส่วนระบบ B ปล่อยว่างไว้ ให้รายงานคลิปที่ตรวจสอบแล้วว่าเงียบแต่มีคำที่ไม่ต้องการแยกจากอัตราความผิดพลาดของคำที่คำนวณรวม และกำหนดสถานะแยกสำหรับคลิปที่ไม่มีข้อความอ้างอิง กติกาของ JiWER 4 สำหรับข้อความอ้างอิงที่ว่างเปล่า

การทดสอบเครื่องหมายวรรคตอน

ทดสอบ JiWER 4.0.0 กับข้อความสมมติ 2 คู่ โดยเปิดใช้ตัวเลือกนำเครื่องหมายวรรคตอนออกจากข้อความทั้งสองฝั่ง หลังแปลงข้อความ offset -5 meters และ offset 5 meters จะเหมือนกัน เช่นเดียวกับ offset 1.5 meters และ offset 15 meters ทั้งสองคู่มี WER เท่ากับ 0% หลังการแปลง แม้ว่าตัวเลขในข้อความต้นฉบับของทั้งสองคู่จะแตกต่างกัน การนำเครื่องหมายวรรคตอนออกด้วย JiWER

การทดสอบ Whisper

ในอีกตัวอย่างสมมติหนึ่ง ตัวปรับข้อความภาษาอังกฤษของ Whisper ที่ระบุเวอร์ชันไว้แปลง offset negative one point five meters เป็น offset -one.5 meters ข้อความคาดการณ์ที่คงไว้หลังผ่านการปรับ 1 รอบคือ offset one.5 meters ข้อความทั้งสองต่างกัน 1 คำจาก 3 คำ หรือมี WER เท่ากับ 33.3% การปรับรอบที่ 2 แปลงข้อความอ้างอิงที่บันทึกไว้เป็น offset one.5 meters เมื่อเทียบกับข้อความคาดการณ์เดิม จำนวนข้อผิดพลาดจะเป็น 0 การนำข้อมูลมาประมวลผลซ้ำนี้เป็นการทดสอบการให้คะแนนข้อความ รุ่นที่เผยแพร่ของ Whisper · ตัวปรับข้อความภาษาอังกฤษที่ระบุเวอร์ชันไว้

การเปรียบเทียบคะแนน

จับคู่ผลลัพธ์ที่บันทึกไว้ของโมเดลทั้ง 2 กับชุดย่อย GigaSpeech ที่ทำความสะอาดแล้วโดยใช้ ID ของคลิป ผลงานที่ส่งของทั้งสองโมเดลมี ID คลิปชุดเดียวกันและมีข้อความอ้างอิงต้นฉบับตรงกันในแต่ละคลิป ชุดที่ตรงกับชุดย่อยที่ทำความสะอาดแล้วมี 18,760 คลิป ให้คะแนนคลิปชุดเดียวกันนี้ด้วยข้อความอ้างอิงต้นฉบับและข้อความอ้างอิงที่ทำความสะอาดแล้ว โดยคงข้อความคาดการณ์ที่บันทึกไว้ของแต่ละโมเดลให้เหมือนเดิมเมื่อใช้ระบบให้คะแนนแต่ละรุ่น ระบบให้คะแนนแต่ละรุ่นใช้วิธีปรับข้อความภาษาอังกฤษของรุ่นนั้น การจัดแนวข้อความใช้ Kaldialign 0.12.0 โดยเปิดการรวมคำประสม รวมจำนวนข้อผิดพลาดและจำนวนคำอ้างอิงของคลิปที่จับคู่แล้วก่อนนำมาหารกัน

ระบบให้คะแนนที่ใช้เป็นรุ่นแก้ไข edd68424736537b6d0191be325ae3605c33de284 และ f58d58a3f98eb9d5c2dd284ce85954b3cd801759 ระบบให้คะแนนรุ่นก่อนหน้า · ระบบให้คะแนนรุ่นปรับปรุง

ข้อความอ้างอิงโมเดลข้อผิดพลาด / จำนวนคำ รุ่นก่อนหน้าWER รุ่นก่อนหน้าข้อผิดพลาด / จำนวนคำ รุ่นปรับปรุงWER รุ่นปรับปรุง
ต้นฉบับARK-ASR-3B27,504 / 397,1416.93%65,917 / 436,32015.11%
ต้นฉบับARK-ASR-0.6B29,339 / 397,1417.39%67,608 / 436,32015.50%
ทำความสะอาดแล้วARK-ASR-3B27,506 / 397,1436.93%27,506 / 397,1436.93%
ทำความสะอาดแล้วARK-ASR-0.6B29,341 / 397,1437.39%29,336 / 397,1437.39%

ในไฟล์รายการ GigaSpeech ต้นฉบับของ 3B เมื่อนำเครื่องหมายวรรคตอน 4 ประเภทที่ระบุไว้ในเอกสารของ GigaSpeech ออกก่อนใช้วิธีปรับข้อความรุ่นใหม่ จะได้หน่วยคำในข้อความอ้างอิงและข้อความคาดการณ์กลับมาตรงกับที่ได้จากวิธีเดิมทั้ง 19,898 แถว สำหรับ 0.6B ที่ใช้ข้อความอ้างอิงซึ่งทำความสะอาดแล้ว อัตราที่ได้เมื่อปัดเศษเป็นเปอร์เซ็นต์เท่ากัน โดยกติการุ่นปรับปรุงนับข้อผิดพลาดได้น้อยกว่า 5 ครั้ง ผลเหล่านี้มาจากการนำผลงานที่บันทึกไว้ของผู้เผยแพร่รายเดียวมาประมวลผลซ้ำ และแสดงผลที่มีต่อผลลัพธ์ชุดนี้ภายใต้การตั้งค่าการให้คะแนนที่ระบุไว้ การเตรียมข้อความ GigaSpeech ก่อนประมวลผล

ผลงานที่ส่งของ 3B ซึ่งระบุเวอร์ชันไว้ · ผลงานที่ส่งของ 0.6B ซึ่งระบุเวอร์ชันไว้ · ข้อความอ้างอิงที่ทำความสะอาดแล้วและระบุเวอร์ชันไว้

การทดสอบคะแนนที่บันทึกไว้

ข้อความอ้างอิงสมมติคือ we [need to leave] now และข้อความคาดการณ์คือ we now ระบบให้คะแนนรุ่นก่อนหน้านำคำ 3 คำในวงเล็บเหลี่ยมออกและให้คะแนนข้อความคู่นี้ที่ WER เท่ากับ 0% เมื่อเก็บไฟล์คะแนนเดิมไว้ ระบบให้คะแนนรุ่นปรับปรุงจะคืนค่า 0% โดยไม่จัดแนวข้อความคู่ใดเลย เมื่อสั่งให้คำนวณใหม่ ระบบจะจัดแนวข้อความ 1 คู่ เก็บคำในวงเล็บเหลี่ยมไว้เป็นคำอ้างอิง และนับการลบ 3 ครั้งจาก 5 คำ หรือ 60% การเปลี่ยนแปลงที่ผสานแล้วระบุตัวเลือกการคำนวณใหม่นี้ไว้ การเปลี่ยนแปลงการให้คะแนน Open ASR

การทดสอบตามเสียงบันทึก

จัดกลุ่มคลิปที่จับคู่แล้ว 18,760 คลิปตามเสียงบันทึกต้นฉบับที่ระบุไว้ใน ID คลิป GigaSpeech สำหรับแต่ละกลุ่มจากทั้งหมด 131 กลุ่ม ให้นำคลิปทั้งหมดในกลุ่มนั้นออกจากทั้งสองระบบ แล้วคำนวณส่วนต่างใหม่โดยใช้คำอ้างอิงที่เหลือ ส่วนต่างคือ WER ของ 0.6B ลบด้วย WER ของ 3B เมื่อใช้ข้อความอ้างอิงที่ทำความสะอาดแล้วและระบบให้คะแนนรุ่นใหม่ ส่วนต่างของคลิปทั้งชุดคือ 100 × (29,336 − 27,506) / 397,143 หรือ 0.460791 จุดเปอร์เซ็นต์ ผลจากการนำออกทั้ง 131 ครั้งอยู่ระหว่าง 0.430797 ถึง 0.478149 จุดเปอร์เซ็นต์ การนำออกแต่ละครั้งยังคงให้ลำดับเดิม การทดสอบนี้ตรวจว่าผลของชุดคลิปที่จับคู่แล้วเปลี่ยนไปเพียงใดเมื่อนำเสียงบันทึกออกครั้งละ 1 รายการ ตัวระบุเสียงบันทึกและช่วงเสียงของ GigaSpeech