같은 아랍 글자 세 개가 “그가 썼다”, “책들”, “쓰였다”를 모두 뜻할 수 있습니다. 이를 구별해 주는 것이 발음 구별 기호인데, 대부분의 텍스트는 이를 생략합니다.
작동 방식
유니코드 표준은 이 기호들을 tashkil이라 부르며 “may be written as combining marks”(번역: 결합 기호로 쓸 수 있다)라고 한 뒤 “In normal writing, however, these marks are omitted.”(번역: 그러나 일반적인 글쓰기에서는 이 기호들이 생략된다)라고 덧붙입니다. 하라카트(harakat)는 그중 짧은 모음 기호만을 가리키는 이름입니다. 각 기호는 얹히는 글자 뒤에 오는 독립된 결합 문자입니다. 주요 기호는 U+064B~U+0652 범위에 있습니다.
| 코드 포인트 | 이름 | 역할 |
|---|---|---|
| U+064E | FATHA | 짧은 a |
| U+064F | DAMMA | 짧은 u |
| U+0650 | KASRA | 짧은 i |
| U+064B~U+064D | FATHATAN, DAMMATAN, KASRATAN | 탄윈(-an, -un, -in 어미) |
| U+0651 | SHADDA | 겹자음 |
| U+0652 | SUKUN | 모음 없음 |
기호 없는 단어 كتب로 예를 들어 보겠습니다.
- كَتَبَ(kataba), “그가 썼다”
- كُتُب(kutub), “책들”
- كُتِبَ(kutiba), “쓰였다”
기호가 없으면 세 단어는 모두 같은 문자열입니다. 사람은 문장을 보고 뜻을 고릅니다. 소프트웨어도 같은 일을 해야 하며, 이것이 발음 구별 기호 복원기(diacritizer)의 역할입니다. Zerrouki와 Balla(2017)는 모음이 모두 표기된 텍스트가 드물고 복원기 학습에 이런 데이터가 필요하다는 이유로, 대부분 고전 아랍어로 된 약 7,560만 단어 규모의 Tashkeela 코퍼스를 만들었습니다. Fadel 외(2019)는 공개 벤치마크에서 기존 연구와 같거나 더 나은 신경망 복원 모델을 보고했고, 발음 구별 기호가 기계 번역에 도움이 될 수 있음을 보였습니다.
라이브러리는 이 기호들을 하나의 집합으로 다룹니다. CAMeL Tools의 AR_DIAC_CHARSET에는 U+064B~U+0652와 U+0670(위첨자 알리프)이 들어 있고, dediac_ar 함수가 이를 제거합니다.
왜 중요한가
- 검색과 매칭. 같은 단어라도 기호를 붙여 입력하면 다른 문자열이 됩니다. 아랍어 텍스트 정규화 과정에서 검색 키의 기호를 지우지 않으면 정확 일치가 실패합니다.
- 토큰. 기호 하나하나가 토크나이저에게는 추가 문자입니다. 모음을 모두 표기한 텍스트는 기호 없는 텍스트보다 토큰을 눈에 띄게 더 씁니다. 실측 비율은 발음 구별 기호 가이드에, 기준값은 아랍어 단어당 토큰 수에 있습니다.
- 음성과 평가. 전사 결과는 보통 기호 없이 나옵니다. 양쪽 텍스트에서 발음 구별 기호를 지운 뒤 단어 오류율을 계산하세요. 그러지 않으면 파타(fatha) 하나가 더 붙은 올바른 단어도 오류로 셉니다.
- 기호가 필요한 경우. 음성 합성(TTS), 언어 교육, 꾸란과 시 텍스트, 모음 없이는 모호한 이름 등입니다.
BroadNet Inference에서는
BroadNet에는 발음 구별 기호 전용 엔드포인트가 없습니다. 채팅 모델은 POST /v1/chat/completions로 타슈킬을 일반 텍스트로 받으므로, Qwen3.8 27B 같은 모델에 기호를 붙이거나 지워 달라고 요청할 수 있습니다. 안전한 방법은 응답을 코드로 검사하는 것입니다. 발음 구별 기호를 지운 뒤 입력과 한 글자씩 비교하세요. 프롬프트와 검사 코드는 LLM 발음 구별 기호 글에 있습니다.
기호를 지울 때는 모델을 아예 쓰지 마세요. U+064B~U+0652를 대상으로 한 짧은 정규식이 더 빠르고, 무료이며, 정확합니다. 아랍어 텍스트 정규화 도구에서 브라우저로 효과를 확인할 수 있습니다.