WER은 단어가 몇 개 틀렸는지 묻습니다. CER은 글자가 몇 개 틀렸는지 묻는데, 아랍어에서는 이쪽이 더 공정한 질문일 때가 많습니다.
작동 방식
CER은 단어 오류율과 같은 편집 거리 개념을 문자에 적용합니다. Hugging Face 지표 카드는 다음 계산식을 제시합니다.
CER = (S + D + I) / N. 여기서 S는 치환, D는 삭제, I는 삽입, N은 정답 텍스트의 문자 수입니다(N = S + D + C, C는 맞은 문자 수).
아랍어 예시를 보겠습니다. 정답은 “وبالكتاب”(“그리고 그 책으로”, 한 단어, 8글자)이고, 전사 결과는 알리프 하나가 빠진 “وبلكتاب”입니다.
| 지표 | 오류 | 정답 단위 수 | 점수 |
|---|---|---|---|
| WER | 틀린 단어 1개 | 1단어 | 1.0(100%) |
| CER | 삭제된 글자 1개 | 8문자 | 0.125(12.5%) |
WER에서는 글자 하나만 빠져도 단어 전체가 틀린 것이 됩니다. CER은 전사가 거의 맞았다는 것을 보여 줍니다.
Python에서는 jiwer 패키지가 jiwer.cer(reference, hypothesis)로 계산하고, jiwer.process_characters는 정렬 결과까지 돌려줍니다. WER과 마찬가지로 먼저 양쪽을 정규화하세요. 구두점, 공백, 그리고 아랍어라면 발음 구별 기호와 알리프·야 형태입니다. 아랍어 텍스트 정규화를 참고하세요.
왜 중요한가
- 아랍어 형태론. 아랍어는 접속사, 전치사, 대명사를 접어로 단어에 붙이기 때문에, 영어로 서너 단어인 내용을 한 단어가 담을 수 있습니다. 접두 글자 하나만 틀려도 WER에서는 단어 하나를 통째로 잃습니다. CER은 이를 문자 하나로 셉니다.
- 띄어쓰기가 없는 언어. WER에는 단어 경계가 필요합니다. Hugging Face 카드는 CER이 “especially for multilingual datasets where WER is not suitable given the diversity of languages.”(번역: 특히 언어가 다양해 WER이 적합하지 않은 다국어 데이터셋에) 유용하다고 설명합니다.
- 오류 유형. WER은 높은데 CER이 낮은 모델은 단어를 거의 맞히고 있는 것입니다. 철자, 함자, 접어 실수처럼 정규화나 교정 단계로 고칠 수 있는 오류입니다. CER이 높다면 모델이 단어나 내용을 통째로 놓치고 있다는 뜻입니다.
- OCR에도 쓰입니다. 이미지에서 읽은 텍스트도 같은 지표로 채점하므로, OCR 파이프라인을 비교할 때 유용합니다.
지표 카드는 CER이 오류가 왜 생기는지는 알려 주지 않는다고도 경고합니다. 점수와 함께 전사 샘플을 읽어 보세요.
BroadNet Inference에서는
BroadNet은 BroadNet Transcribe Arabic과 BroadNet Transcribe에 대해 CER이 아니라 WER을 공개합니다. CER이 필요하면 직접 녹음한 테스트 세트를 전사해 채점하세요. 아랍어 WER 해설 글에는 정규화 함수와 WER, CER을 모두 출력하는 jiwer 스크립트가 있고, 아랍어 음성 인식 가이드에는 요청 코드가 있습니다. 항상 language=ar을 보내세요. 이 값이 없으면 아랍어가 라틴 문자로 음역되어 돌아올 수 있고, 그러면 두 점수 모두 엉망이 됩니다.
흔한 실수
- 공백을 일관되게 세지 않는 것. 공백을 문자로 셀지 정하고, 비교하는 모든 모델에 같은 규칙을 적용하세요.
- 내 CER을 다른 사람의 WER과 비교하는 것. 둘은 척도가 다릅니다. 같은 것끼리 비교하세요.