BroadRouter

단어 오류율(WER)

업데이트

단어 오류율(WER)은 음성 인식의 표준 정확도 지표입니다. 전사 결과를 올바른 정답 텍스트로 바꾸는 데 필요한 단어 치환, 삭제, 삽입 횟수를 정답 텍스트의 단어 수로 나눈 값이며, 낮을수록 좋습니다.

다른 이름: 단어 오류율, 단어 에러율, 음성 인식 정확도, 전사 정확도, STT 정확도, 단어 정확도, WER, word error rate, ASR accuracy, transcription accuracy, word accuracy

WER은 한 가지 질문에 답합니다. 누군가 말한 100단어 중 전사 결과가 몇 개를 틀렸는가?

작동 방식

모델의 전사 결과를 사람이 만든 올바른 정답 텍스트와 정렬한 뒤, 세 종류의 오류를 셉니다.

  • Substitution(치환): 맞는 단어 자리에 틀린 단어가 들어간 경우
  • Deletion(삭제): 말했는데 빠진 단어
  • Insertion(삽입): 말하지 않았는데 들어간 단어

WER = (S + D + I) / N이며, 여기서 N은 정답 텍스트의 단어 수입니다.

예시를 보겠습니다. 정답은 “please send the invoice to our office today”(8단어)이고, 전사 결과는 “please send an invoice to office today now”입니다.

오류 개수
“the” → “an” 치환 1
“our” 누락 삭제 1
“now” 추가 삽입 1

WER = 3 / 8 = 0.375, 즉 37.5%입니다. Wikipedia는 WER이 단어 단위 편집 거리이며, 삽입 수에 상한이 없기 때문에 “can be larger than 1.0.”(번역: 1.0보다 클 수 있다)라고 설명합니다.

Python의 jiwer 패키지 같은 도구로 계산할 수 있습니다. 먼저 양쪽 텍스트를 정규화하세요. 대소문자, 구두점, 숫자를 숫자로 쓸지 단어로 쓸지, 그리고 아랍어라면 발음 구별 기호와 알리프·야 형태입니다. 정규화 방식만 바꿔도 점수가 눈에 띄게 달라질 수 있습니다.

왜 중요한가

  • 모델 비교. WER은 리더보드와 업체 홍보 자료에서 공통으로 쓰는 지표라서, 음성 인식 API를 고를 때 첫 번째 필터가 됩니다.
  • 내 오디오는 다릅니다. 같은 모델이라도 낭독 음성과 방언 전화 통화에서 점수가 크게 다를 수 있습니다. 아랍어라면 현대 표준 아랍어와 방언 오디오의 수치가 다르게 나옵니다. 내 녹음과 비슷한 오디오로 테스트하세요.
  • 모든 오류가 같지는 않습니다. WER은 모든 단어를 같은 무게로 셉니다. 계좌 번호를 틀린 것도, “the” 하나가 빠진 것도 오류 하나입니다. 점수만 보지 말고 전사 결과를 직접 읽어 보세요.

BroadNet Inference에서는

BroadNet은 BroadNet Transcribe Arabic에 대한 자체 랩 측정값을 공개합니다.

테스트 세트 내용 WER(%)
FLEURS-ar 깨끗한 낭독 문장 3.8
MASC-ar 실제 환경의 다양한 아랍어 음성 21.1
BroadNet 방언 세트 방언 음성 23.4

3.8과 23.4의 차이가 직접 테스트해야 하는 이유를 보여 줍니다. BroadNet은 이 모델의 Open Universal Arabic ASR Leaderboard 순위(37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위))도 보고합니다. $5 초기 크레딧으로 아랍어 오디오 약 1,190분을 처리할 수 있어 테스트 세트에 충분합니다. 구매 가이드에 1시간짜리 테스트 계획이, 아랍어 가이드에 코드가 있습니다.

자주 묻는 질문

단어 오류율은 얼마면 좋은 건가요?

오디오에 따라 다릅니다. 깨끗한 낭독 음성은 한 자릿수가 나올 수 있지만, 같은 모델이라도 잡음이 많은 대화나 방언 오디오에서는 훨씬 높게 나오는 경우가 많습니다. 모델은 같은 테스트 세트, 가능하면 직접 녹음한 오디오로 비교하세요.

WER이 100%를 넘을 수도 있나요?

네. 삽입 오류는 세지만 분모는 정답 단어 수뿐이라서, 불필요한 단어가 많이 들어간 전사 결과는 1.0을 넘을 수 있습니다.

WER은 백분율로 쓰나요, 소수로 쓰나요?

둘 다 흔합니다. 0.211과 21.1은 보통 같은 뜻으로, 정답 100단어당 약 21개의 오류입니다. 출처가 어느 쪽을 쓰는지 확인하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기