아랍어 방언은 현대 표준 아랍어(MSA)와 발음, 어휘, 표기가 다르고 화자가 영어나 프랑스어를 섞어 쓰기 때문에 음성 인식이 어려워합니다. 제공업체가 얼마나 잘할지 알려면 실제 오디오로 방언별 작은 테스트 세트를 만들고 방언마다 따로 점수를 매기세요.
리야드의 전화 고객, 카이로의 음성 메시지, 카사블랑카의 고객 지원 통화는 모두 “아랍어”이지만, 한 모델이 첫 번째는 잘 처리하고 세 번째는 형편없이 처리할 수 있습니다.
이 글에서는 주요 방언 그룹마다 음성 인식을 어렵게 만드는 요인이 무엇인지, 그리고 제공업체가 내 방언에서 어떤 성능을 낼지 보여 주는 테스트를 어떻게 만드는지 설명합니다. 가격, 한도, 개인정보 등 더 넓은 구매 체크리스트는 아랍어 음성 인식 API 구매 가이드를 참고하세요.
아랍어 방언은 왜 음성 인식이 어려운가요?
네 가지 문제가 겹칩니다.
- 다른 발음. 같은 글자를 지역마다 다르게 발음하므로, 음향 모델은 여러 소리를 하나의 표기로 연결해야 합니다.
- 다른 어휘. 일상 단어가 방언마다 다릅니다. 주로 MSA로 학습한 모델은 방언 단어를 격식체 단어로 “교정”할 수 있는데, 참조 전사가 들은 그대로라면 이것은 오류로 집계됩니다.
- 표준 표기법 없음. 방언은 비공식적으로 표기되므로 사람 전사자 두 명도 서로 다르게 씁니다. 학습 데이터도 고르지 않습니다. 방언 커버리지에 관한 2024년 연구는 기존 ASR 시스템이 “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects”(번역: 주로 현대 표준 아랍어(MSA)와 자원이 많은 소수 방언만 다룬다)고 지적합니다(arXiv 2411.05872).
- 코드 스위칭. 화자는 문장 중간에 영어나 프랑스어를 섞습니다. 8개 방언을 다루는 Casablanca 데이터셋은 방언, 성별과 함께 코드 스위칭에도 주석을 달아 두었습니다.
Open Universal Arabic ASR Leaderboard 논문(Interspeech 2025)이 오픈소스 모델을 여러 다방언 테스트 세트로 평가하는 것도 바로 이 때문입니다. 아랍어 점수 하나로는 편차가 가려집니다.
아랍어 방언마다 음성 인식은 어디서 막히나요?
| 방언 그룹 | 지역 | ASR이 자주 틀리는 부분 |
|---|---|---|
| 걸프(칼리지) | 사우디아라비아, UAE, 쿠웨이트, 카타르, 바레인, 오만 | 영어 제품명, 숫자, 브랜드 용어가 섞임. qaf와 kaf의 지역별 발음 |
| 이집트 | 이집트 | jeem을 경음 g로 발음. qaf는 흔히 성문 폐쇄음. 미디어에서 매우 흔해 모델이 보통 더 많이 접함 |
| 레반트 | 시리아, 레바논, 요르단, 팔레스타인 | 도시 지역에서 qaf를 성문 폐쇄음으로 발음. 특히 레바논에서 프랑스어나 영어가 섞임 |
| 마그레브(다리자) | 모로코, 알제리, 튀니지, 리비아 | MSA와 가장 거리가 멂. 짧은 모음 탈락. 프랑스어 코드 스위칭이 많음. 아마지그어 차용어 |
| 이라크 | 이라크 | 고유한 어휘와 발음. 공개된 학습용 오디오가 적음 |
이것은 경향이지 규칙이 아닙니다. 같은 그룹 안에서도 도시와 시골 말투가 다르고, 젊은 화자일수록 코드 스위칭을 더 많이 합니다. 핵심은 그룹마다 틀리는 방식이 다르므로 그룹마다 따로 점수를 매겨야 한다는 것입니다.
아랍어 방언 테스트 세트는 어떻게 만드나요?
1. 방언별로 실제 오디오 샘플링하기
운영 환경에서 실제로 쓸 채널, 즉 전화 통화, WhatsApp 음성 메시지, 회의 녹음에서 방언당 30~50개 클립을 가져오세요. 8kHz 전화 오디오는 스튜디오 오디오와 다르게 동작합니다. 클립마다 방언 라벨을 붙이고, 영어나 프랑스어가 들어간 클립에는 태그를 다세요.
2. 표기 규칙부터 합의하기
누구든 참조 전사를 쓰기 전에 다음 중 하나를 정하세요.
- 방언 그대로(말한 내용을 방언 표기로 씀), 또는
- 정규화(일관된 형태로 맞춤).
선택한 규칙을 예시와 함께 문서로 남기세요. 참조가 방언 그대로인데 모델이 MSA 같은 단어를 출력하면, 뜻이 맞아도 WER은 형편없어 보입니다. 어느 쪽도 틀린 선택은 아닙니다. 다운스트림 시스템이 필요로 하는 쪽과 맞아야 합니다.
3. 방언당 클립 10개의 참조 전사 작성하기
해당 방언의 원어민에게 전사를 맡기세요. 코드 스위칭 클립은 영어 단어를 라틴 문자로 둘지 정하고, 모든 곳에 똑같이 적용하세요.
4. 양쪽을 정규화한 뒤 점수 매기기
발음 구별 기호를 제거하고, 알리프 형태(إ أ آ를 ا로)와 끝의 야(ى를 ي로)를 통일하고, 구두점을 지우고, 동아랍 숫자를 서양식 숫자로 바꾸세요. 그다음 아래 지표를 계산합니다.
| 지표 | 이유 |
|---|---|
| 방언별 WER | 표준 측정값. 접어와 접두사에 엄격함 |
| 방언별 CER | 표기 차이에 더 너그러움 |
| 개체 정확도 | 숫자, 날짜, 이름을 정확히 전사한 비율 |
| 코드 스위칭 그룹 WER | 영어나 프랑스어 단어가 살아남는지 보여 줌 |
jiwer 패키지로 WER과 CER을 계산할 수 있습니다. 아랍어 WER 설명에는 재사용할 수 있는 정규화 함수와, 정규화가 점수를 얼마나 바꾸는지 보여 주는 예제가 있습니다.
5. 전사 결과 직접 읽기
콜센터나 은행 업무가 제대로 돌아가는지는 숫자가 결정합니다. 방언당 전사 결과 20개를 읽고 숫자, 날짜, 이름을 하나하나 직접 확인하세요.
공개된 아랍어 WER 수치에서 무엇을 알 수 있나요?
공개 벤치마크는 방향을 알려 줄 뿐 약속하지는 않습니다. BroadNet은 모델 카탈로그에 BroadNet Transcribe Arabic의 WER 수치 세 개를 공개합니다. FLEURS-ar(깨끗한 낭독 음성)에서 3.8, MASC-ar(실제 환경이 섞인 음성)에서 21.1, 자체 방언 세트에서 23.4입니다. 같은 모델이 낭독 음성과 방언 음성 사이에서 6배 차이가 나는 것이며, 그래서 내 방언으로 테스트해야 합니다.
제공업체를 비교할 때는 같은 테스트 세트로 비교하세요. Open Universal Arabic ASR Leaderboard 같은 리더보드가 유용한 이유는 모든 모델을 같은 방식으로 평가하기 때문입니다. 벤더가 자체 세트로 낸 수치는 다른 벤더의 수치와 비교할 수 없습니다.
방언 전사 결과는 어떤 LLM이 읽어야 하나요?
전사 결과는 보통 LLM으로 넘어가 통화를 요약하거나, 티켓을 분류하거나, 질문에 답하는 데 쓰입니다. 그 모델도 방언을 읽을 수 있어야 합니다. 아랍어용 LLM 선택 가이드에서 테스트 방법을 다루며, Qwen3.8 27B는 BroadNet이 걸프와 이집트 방언으로 테스트한 모델입니다.
BroadNet Inference가 맞는 경우
BroadNet Transcribe Arabic은 방언을 포함한 아랍어용으로 만들어졌으며, 가격은 분당 $0.0042(시간당 $0.25)입니다. BroadNet은 이 모델이 Open Universal Arabic ASR Leaderboard에서 37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위) 순위이고, API로 서비스할 수 있는 라이선스의 모델 중에서는 1위라고 보고합니다. 잡음이 많은 오디오의 숫자, 날짜, 이름을 위해 BroadNet은 파인튜닝 버전을 문의 시 제공합니다. $5 상당의 초기 크레딧으로 약 1,190분을 처리할 수 있어 위 테스트 전체를 돌리기에 충분합니다. 음성 인식 비용 계산기로 운영 물량을 월 비용으로 환산해 보세요. 시작하려면 키를 만드세요.
BroadNet은 방언 그룹별 WER 수치를 따로 공개하지 않습니다. 그래서 더욱 이 테스트를 직접 돌려야 합니다. 방언 세트 수치는 숫자 하나일 뿐이고, 내 고객은 모든 방언이 아니라 한두 개 방언을 씁니다.
