본문으로 바로가기

메뉴

연구

납품을 승인하기 전에 전사 점수를 확인하는 방법

언어: 한국어

클립 목록, 채점에 사용할 기준 텍스트, 납품된 전사문, 채점 설정을 요청하세요. 단어 오류율은 기준 텍스트 100단어당 바뀌거나 빠지거나 추가된 단어 수를 나타냅니다. 오류율이 낮아도 빠진 마이너스 기호나 녹음의 잘못된 구간에 들어간 단어처럼 작업에 중요한 오류가 숨을 수 있습니다. 납품을 승인하기 전에 이런 세부 사항을 살펴보세요. 단어 오류율 계산 방법

단어가 녹음의 올바른 구간에 있는지 확인하세요

기준 텍스트의 두 구간이 turn left와 then stop이라고 가정해 보겠습니다. 납품된 구간은 turn left then과 stop입니다. 두 구간을 합치면 네 단어의 순서가 같아 오류율은 0%입니다. 구간별로 채점하면 then이 첫 구간에 추가되고 두 번째 구간에서 빠져 오류율이 50%입니다. 구간 경계가 작업에 중요하다면 각 구간을 따로 채점하세요. 구간별 예시

테스트에 무음 클립을 포함하세요

가상의 테스트에서 음성이 있는 클립 두 개를 사용했을 때 시스템 A의 단어 오류율은 0%, 시스템 B는 12.5%였습니다. 무음임을 확인한 클립 하나를 추가하자 A는 거기에 단어 두 개를 출력했고 오류율은 25%로 올랐습니다. B는 12.5%를 유지했습니다. 납품물에 무음 구간이 있다면 무음이 확인된 클립 중 불필요한 텍스트가 나온 클립 수를 보고하세요. 기준 텍스트가 없는 클립은 무음으로 집계되지 않도록 따로 표시하세요. 무음 클립 예시

숫자는 원문에서 확인하세요

한 테스트에서 채점 규칙은 offset -5 meters와 offset 5 meters를 같다고 판단했습니다. offset 1.5 meters와 offset 15 meters도 같다고 판단했습니다. 별도의 Whisper 테스트에서는 첫 정규화 때 “negative one point five”의 마이너스 기호가 남았습니다. 두 번째 정규화 때 기호가 사라져 같은 부호 없는 응답의 단어 오류율이 33.3%에서 0%로 떨어졌습니다. 숫자가 중요하다면 원문에서 확인하고 각 텍스트를 몇 번 정규화했는지 기록하세요. 문장부호 테스트 · Whisper 테스트

규칙이 바뀌면 같은 클립을 다시 채점하세요

두 ARK-ASR 모델의 저장된 전사문을 동일한 GigaSpeech 클립 18,760개에서 채점했습니다. 기존 기준 전사문을 사용했을 때 Open ASR 채점 업데이트로 큰 모델의 단어 오류율은 6.93%에서 15.11%로, 작은 모델은 7.39%에서 15.50%로 올랐습니다. 새 규칙은 <COMMA> 같은 문장부호 표시도 단어로 셌습니다. 같은 클립의 정제된 기준 전사문을 사용하면 두 모델의 오류율은 소수점 둘째 자리까지 각각 6.93%와 7.39%로 두 규칙에서 같았습니다. 점수 비교

채점 규칙이 바뀌면 같은 클립과 기준 전사문으로 두 점수를 다시 계산하세요. 별도의 가상 예시에서는 재계산을 명시적으로 요청할 때까지 업데이트된 채점 프로그램이 저장 파일에서 이전 결과를 반환했습니다. 결과를 비교하기 전에 재계산이 실제로 이루어졌는지 확인하세요. 저장된 점수 테스트

점수 차이가 작을 때 녹음 하나의 영향을 확인하세요

한 녹음에서 많은 클립이 나올 수 있습니다. GigaSpeech 테스트에서는 녹음을 한 번에 하나씩 통째로 빼고 남은 클립으로 모델을 비교했습니다. 정제된 기준과 새 규칙을 사용했을 때 녹음 131개 전체에서 큰 모델의 오류율이 0.46%포인트 낮았습니다. 녹음 하나를 빼면 이 차이는 0.43~0.48%포인트였습니다. 점수 차이가 작을 때 녹음 하나가 결과를 좌우하는지 확인할 수 있습니다. 녹음 단위 테스트