전사 점수 확인을 위한 근거
아래 예시는 가상의 텍스트 또는 공개 벤치마크 제출 결과를 집계한 수치를 사용합니다. 단어 오류율(WER)은 삽입, 삭제, 대체 오류의 합계를 기준 전사의 단어 수로 나눈 값입니다. 이 값에 100을 곱하면 백분율로 나타낼 수 있습니다. JiWER 채점 및 정렬
구간별 채점 예시
기준 전사의 구간은 turn left, then stop이고, 납품된 전사의 구간은 turn left then, stop입니다. 구간을 각각 채점하면 then에 대해 삽입 1건과 삭제 1건이 집계됩니다. 기준 전사의 단어 4개 중 오류가 2건이므로 WER은 50%입니다. 구간을 이어 붙이면 양쪽 모두 turn left then stop이 되어 단어 4개에 오류가 없습니다. 이 예시는 제공된 구간의 텍스트를 비교합니다. 단어가 녹음의 어느 시점에 나오는지 확인하려면 오디오와 타임스탬프를 확인해야 합니다. JiWER 정렬
무음 클립 예시
가상의 클립을 합산해 계산한 오류율입니다. 음성이 있는 클립 2개의 기준 전사에는 단어가 8개 있습니다. 세 번째 클립은 무음으로 확인되었으며 기준 전사의 단어 수는 0개입니다.
| 채점한 클립 | 시스템 A의 단어 오류 | 시스템 B의 단어 오류 | 기준 전사의 단어 수 | A의 WER | B의 WER |
|---|---|---|---|---|---|
| 음성 클립 2개 | 0 | 1 | 8 | 0% | 12.5% |
| 음성 클립 2개와 무음 클립 1개 | 2 | 1 | 8 | 25% | 12.5% |
A는 무음 클립에 단어 2개를 출력했습니다. B는 해당 클립을 비워 두었습니다. 무음으로 확인된 클립에 불필요한 단어가 출력된 경우는 합산 단어 오류율과 별도로 보고하세요. 기준 전사 텍스트가 누락된 클립에는 별도의 상태를 지정하세요. JiWER 4의 빈 기준 전사 규칙
문장 부호 테스트
가상의 텍스트 쌍 2개에 JiWER 4.0.0을 실행하면서 양쪽 텍스트에 선택적 문장 부호 제거를 적용했습니다. offset -5 meters와 offset 5 meters은 같아집니다. offset 1.5 meters와 offset 15 meters도 마찬가지입니다. 변환 후 두 비교의 WER은 모두 0%입니다. 두 쌍 모두 원래 숫자 부분은 서로 다릅니다. JiWER 문장 부호 제거
Whisper 테스트
별도의 가상 예시에서 특정 버전으로 고정된 Whisper 영어 정규화기는 offset negative one point five meters을 offset -one.5 meters로 변환합니다. 정리 과정을 한 번 거친 후 고정된 예측 텍스트는 offset one.5 meters입니다. 두 텍스트는 단어 3개 중 1개가 다르므로 WER은 33.3%입니다. 저장된 기준 전사를 두 번째로 처리하면 offset one.5 meters로 변환됩니다. 같은 예측 텍스트와 비교하면 오류 수는 0이 됩니다. 이 재실행은 텍스트 채점을 테스트합니다. Whisper 릴리스 · 고정된 버전의 영어 정규화기
점수 비교
두 모델의 저장된 출력과 정제된 GigaSpeech 분할 데이터를 클립 ID로 대조합니다. 두 모델의 제출 결과에는 같은 클립 ID가 있으며 각 클립의 원본 기준 전사도 일치합니다. 정제된 분할 데이터와 겹치는 클립은 18,760개입니다. 이 동일한 클립 집합을 원본 및 정제된 기준 전사로 각각 채점합니다. 채점기를 바꿔도 각 모델의 저장된 예측 텍스트는 그대로 유지합니다. 각 채점기 리비전에 포함된 영어 정규화기를 사용합니다. 정렬에는 복합어 병합을 활성화한 Kaldialign 0.12.0을 사용합니다. 일치하는 클립의 오류 수와 기준 전사 단어 수를 각각 합산한 뒤 나눕니다.
채점에 사용한 리비전은 edd68424736537b6d0191be325ae3605c33de284, f58d58a3f98eb9d5c2dd284ce85954b3cd801759입니다. 이전 채점기 · 업데이트된 채점기
| 기준 전사 | 모델 | 이전 오류 수 / 단어 수 | 이전 WER | 업데이트된 오류 수 / 단어 수 | 업데이트된 WER |
|---|---|---|---|---|---|
| 원본 | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| 원본 | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| 정제본 | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| 정제본 | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
원본 3B GigaSpeech 매니페스트에서 새로운 정규화를 적용하기 전에 GigaSpeech에 문서화된 문장 부호 마커 4종을 제거하면 전체 19,898개 행의 기준 전사와 예측 텍스트 토큰이 이전 채점기의 결과와 같아집니다. 정제된 기준 전사를 사용한 0.6B의 오류율은 반올림하면 같은 백분율이며, 업데이트된 규칙에서 오류가 5건 적습니다. 이 결과는 한 게시자가 저장해 둔 제출 결과를 다시 채점한 것입니다. 고정된 채점 설정에서 해당 출력에 미친 영향을 보여줍니다. GigaSpeech 텍스트 전처리
고정된 버전의 3B 제출 결과 · 고정된 버전의 0.6B 제출 결과 · 고정된 버전의 정제된 기준 전사
저장된 점수 테스트
가상의 기준 전사는 we [need to leave] now, 예측 텍스트는 we now입니다. 이전 채점기는 대괄호 안의 단어 3개를 제거하고 이 쌍의 WER을 0%로 채점합니다. 점수 파일을 유지하면 업데이트된 채점기는 0%를 반환하고 정렬하는 쌍은 0개입니다. 재계산을 요청하면 텍스트 쌍 1개를 정렬하고 대괄호 안의 단어를 기준 전사에 유지하여 단어 5개 중 삭제 3건, 즉 WER 60%를 반환합니다. 병합된 변경 사항에 재계산 옵션이 설명되어 있습니다. Open ASR 채점 변경 사항
녹음별 테스트
일치하는 클립 18,760개를 GigaSpeech 클립 ID에 표시된 원본 녹음별로 묶습니다. 131개 그룹을 하나씩 선택해 해당 그룹의 모든 클립을 두 시스템 결과에서 제외하고, 남은 기준 전사 단어로 점수 차이를 다시 계산합니다. 점수 차이는 0.6B의 WER에서 3B의 WER을 뺀 값입니다. 정제된 기준 전사와 새로운 채점기를 사용한 전체 클립 집합의 점수 차이는 100 × (29,336 − 27,506) / 397,143, 즉 0.460791%p입니다. 그룹을 제외한 131개 결과의 점수 차이는 0.430797~0.478149%p입니다. 어느 그룹을 제외해도 두 모델의 순서는 같습니다. 이 테스트는 일치하는 클립 집합에서 녹음 하나씩 제외했을 때 결과가 얼마나 달라지는지 확인합니다. GigaSpeech 녹음 및 구간 식별자