아랍어에서는 같은 단어를 여러 방식으로 쓸 수 있습니다. 사용자는 احمد라고 입력하는데 문서에는 أَحْمَد라고 적혀 있습니다. 문자를 정확히 비교하는 검색 색인은 이 매칭을 놓치고, RAG 파이프라인의 키워드 검색 쪽도 마찬가지입니다. 정규화는 비교 전에 변형을 하나의 형태로 바꿔 이 문제를 해결합니다. 대충 하면 뜻이 다른 단어까지 합쳐 버립니다. 이 글에서는 규칙을 하나씩 살펴봅니다. 각 규칙이 무엇을 하는지, 언제 적용하는지, 무엇을 망가뜨리는지, 주요 라이브러리가 어떻게 다른지 본 뒤, 테스트한 파이썬 코드로 마무리합니다.
아랍어 RAG 파이프라인 전체(청크 분할, 하이브리드 검색, 출처가 달린 답변)는 제대로 동작하는 아랍어 RAG를 참고하세요. 이 글은 정규화 단계를 더 깊이 다룹니다.
정규화가 실제로 검색에 도움이 되나요?
키워드 검색에서는 그렇습니다. 근거는 오래되었지만 분명합니다. Larkey, Ballesteros, Connell(SIGIR 2002)은 TREC-2001 뉴스 기사 컬렉션으로 아랍어 검색을 테스트했습니다. 어간 추출 전에 코퍼스와 쿼리를 정규화했습니다. 발음 부호와 문장 부호를 지우고, 알리프 형태를 통일하고, 단어 끝의 ى와 ة를 바꿨습니다. 확장하지 않은 쿼리로 얻은 단일 언어 결과는 다음과 같습니다.
| 처리 | 평균 정밀도 | 원본 대비 변화(반올림된 수치 기준) |
|---|---|---|
| 원본 텍스트 | .194 | — |
| 정규화 | .238 | +22.7% |
| 정규화 + 경량 어간 추출(light8) | .376 | +93.8% |
주의할 점이 두 가지 있습니다. 이것은 임베딩 검색이 아니라 2002년의 뉴스 키워드 검색입니다. 그리고 가장 큰 개선은 정규화와는 별개 단계인 경량 어간 추출(و, ال 같은 접두사와 흔한 접미사 제거)에서 나왔습니다. Lucene의 ArabicAnalyzer와 Elasticsearch의 arabic 분석기는 둘 다 적용합니다. 정규화기를 거친 뒤 경량 어간 추출기를 거칩니다.
무엇을 정규화해야 하고, 각 규칙의 대가는 무엇인가요?
| 규칙 | 예시 | 검색 색인 | 위험 |
|---|---|---|---|
| 유니코드 NFKC | ﻻ → لا, ا + ٔ → أ | 예, 항상 가장 먼저 | 다른 문자 체계의 호환 문자도 바꿈 |
| 보이지 않는 기호 제거 | 폭 없는 결합자, RLM/LRM, BOM | 예 | 아랍어에는 없음. 페르시아어에서는 ZWNJ가 중요 |
| 타쉬킬 제거 | أَحْمَدُ → أحمد | 예 | 모음으로만 구별되는 단어가 합쳐짐 |
| 타트윌(ـ) 제거 | الـــمدينة → المدينة | 예 | 없음 |
| 알리프 통일 | أ إ آ ٱ → ا | 예 | 몇몇 쌍이 합쳐짐: سأل(물었다)과 سال(흘렀다) |
| 알리프 막수라 | ى → ي | 대개 | على(위에)와 علي(알리)가 합쳐짐 |
| 타 마르부타 | ة → ه | 대개 | كتابة(글쓰기)와 كتابه(그의 책)가 합쳐짐 |
| 함자 받침 | ؤ ئ → ء | 선택 | مسؤول과 مسئول이 합쳐지지만(좋음) 서로 다른 단어도 일부 합쳐짐 |
| 페르시아 문자 | ی → ي, ک → ك | 사용자가 페르시아어 키보드를 쓴다면 예 | 아랍어 텍스트에는 없음 |
| 숫자 | ٢٠٢٦과 ۲۰۲۶ → 2026 | 예 | 없음. 화면 표시용 원문은 보관 |
세 번째 열은 색인 키와 쿼리에 대한 것입니다. 저장하고, 보여 주고, 모델에 넘기는 텍스트는 쓰인 그대로 둡니다.
왜 유니코드 정규화를 가장 먼저 해야 하나요?
눈에 보이는 같은 글자가 여러 방식으로 저장될 수 있습니다. أ는 코드 포인트 하나(U+0623)일 수도 있고, 맨 알리프 뒤에 결합 함자가 오는 형태(U+0627 U+0654)일 수도 있습니다. 오래된 PDF와 일부 키보드는 한 문자짜리 람-알리프 ﻻ 같은 아랍어 표시형(U+FB50~U+FEFF)을 만들어 냅니다. 유니코드 정규화에서 NFC는 함자를 알리프에 합치고, NFKC는 표시형과 합자도 풉니다. 파이썬에서 unicodedata.normalize("NFKC", "ﻻ")는 لا를 돌려주고, ﷲ는 الله가 됩니다.
이 단계를 무엇보다 먼저 실행하세요. 그렇지 않으면 أ를 바꾸는 정규식이 분해된 형태를 놓칩니다. 두 번째 함정도 있습니다. CAMeL Tools의 dediac_ar는 AR_DIAC_CHARSET(U+064BU+0652와 U+0670)에 있는 문자를 지웁니다. 이 세트에는 결합 함자와 마다 기호(U+0653U+0655)가 빠져 있어서, 분해된 텍스트에서는 발음 부호 제거 후에도 이것들이 남습니다. NFKC가 먼저 이들을 합쳐 줍니다.
NFKC는 호환성 매핑입니다. 전각 라틴 문자처럼 아랍어 밖의 문자도 바꿉니다. 검색 키에서는 대개 원하는 동작이고, 원문을 옆에 보관해야 할 이유가 하나 더 생기는 셈입니다.
정규화하면 안 되는 것은 무엇인가요?
- 보여 주거나, 출처로 달거나, 인용하는 텍스트. 정규화된 아랍어는 철자가 틀린 것처럼 보입니다(المدينه). 원문을 키 옆에 저장하세요.
- LLM에 보내는 것. 모델은 함자와 타쉬킬을 잘 읽고, 정확한 텍스트가 이름과 인용을 올바르게 유지해 줍니다. 타쉬킬을 지우면 토큰이 조금 줄지만, 정확도와 맞바꾸기 전에 아랍어 토큰 카운터로 얼마나 줄어드는지 확인하세요.
- 부호가 의미를 갖는 텍스트: 꾸란, 하디스, 시, 어린이 책, 발음과 발음 부호 처리 작업(LLM으로 발음 부호 넣기 참고).
- 맞춤법이나 문법 교정: 먼저 정규화하면 고치려는 함자와 타 마르부타 오류가 지워집니다. LLM으로 아랍어 문법·맞춤법 교정하기를 참고하세요.
- 식별자. 제품 코드, 이메일, URL, 라틴 문자 텍스트는 아랍어 규칙을 거치면 안 됩니다. 정규화는 아랍 문자 필드나 아랍어 토큰에만 적용하세요.
- 사람들이 정확히 검색하는 필드. 법적 이름이나 ID 같은 필드는 원본 사본도 색인해, 정확히 일치하는 결과가 여전히 맨 위에 오게 하세요.
CAMeL Tools, PyArabic, Lucene은 어떻게 다른가요?
세 라이브러리는 같은 규칙을 구현하지 않으며, 섞어 쓰면 색인과 쿼리가 영영 매칭되지 않습니다. 저희는 각 라이브러리의 문서와 소스를 읽고 PyArabic 0.6.15를 실행해 봤습니다.
| 함수 | 실제로 하는 일 |
|---|---|
CAMeL normalize_unicode |
NFKC(compatibility=False면 NFC). ﷼를 ريال로, ﷽를 전체 구절로 펼치기도 함 |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
U+064B~U+0652와 U+0670을 지움. 타트윌은 남김 |
PyArabic strip_tashkeel |
샤다를 포함한 모든 하라카트를 지움 |
PyArabic strip_tatweel |
ـ를 지움 |
PyArabic normalize_alef |
모든 알리프 형태 와 ى → ا. 그래서 إلى가 الا가 됨 |
PyArabic normalize_hamza |
기본 방식은 أ를 포함한 모든 함자 형태를 ء로 바꿈. 그래서 أحمد가 ءحمد가 됨 |
Lucene ArabicNormalizer |
알리프 위·아래 함자 형태 → ا, ة → ه, ى → ي, 하라카트와 타트윌 제거 |
PyArabic 행은 사람들을 놀라게 합니다. normalize_alef의 독스트링은 알리프 막수라가 예외라고 하지만, 0.6.15에서는 ALEFAT 세트에 ى가 들어 있어 함수가 이를 ا로 바꿉니다. normalize_hamza는 일반 검색이 아니라 함자를 무시하는 매칭을 위해 만들어졌습니다. 순서도 중요합니다. 알리프 정규화를 먼저 하면 normalize_hamza는 ؤ, ئ, ء만 건드리므로 مسؤول과 مسئول이 둘 다 مسءول이 됩니다. tasheel 방식은 대신 مسوول과 مسيول을 내놓아 서로 매칭되지 않습니다.
Elasticsearch의 arabic_normalization 필터는 Lucene 정규화기를 쓰므로, Elasticsearch 색인과 매칭하려는 파이썬 파이프라인은 Lucene 규칙을 그대로 따라야 합니다. 즉 ى → ا가 아니라 ى → ي입니다.
테스트한 정규화기는 어떤 모습인가요?
이 함수는 Lucene의 선택을 따르고, 유니코드, 숫자, 페르시아 문자 처리를 더하고, 위험한 규칙은 켜고 끌 수 있게 했습니다. 표준 라이브러리만 씁니다.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
테스트 문자열에서 돌려준 결과는 다음과 같습니다.
| 입력 | 출력 | 메모 |
|---|---|---|
| أَحْمَدُ | احمد | 타쉬킬과 함자가 사라짐 |
| الـــمدينة | المدينه | 타트윌과 타 마르부타 |
| إلى | الي | 알리프와 알리프 막수라 |
| ا + U+0654 + مل | امل | 분해된 함자가 합쳐진 뒤 통일됨 |
| ﻻبد | لابد | 표시형이 풀림 |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | 아랍-인도 숫자와 페르시아 숫자 |
| مسؤول / مسئول | hamza_seats=True면 둘 다 مسءول |
기본값에서는 그대로 |
| فارسی | فارسي | 페르시아어 야 |
이 함수는 두 곳에서 쓰세요. 색인 키를 만들 때와 쿼리를 읽을 때입니다. original과 normalize(original)을 나란히 저장하고, 두 번째로 검색해 첫 번째를 돌려주세요. 무료 아랍어 텍스트 정규화 도구에 텍스트를 붙여 넣으면 설정을 고르기 전에 규칙마다 효과를 볼 수 있습니다.
정규화는 임베딩과 RAG에서 어떻게 쓰이나요?
RAG 파이프라인에는 대개 검색기가 두 개 있습니다. 키워드 검색(BM25)과 임베딩입니다. 정규화는 키워드 쪽에는 분명히 도움이 됩니다. 임베딩 쪽에는 위 근거가 적용되지 않습니다. 임베딩 모델은 원본 텍스트로 학습하며, 많은 모델이 이미 احمد와 أحمد를 가깝게 둡니다. 임베딩 전 정규화는 도움이 될 수도, 아무 효과가 없을 수도, 해가 될 수도 있습니다. 답을 아는 실제 쿼리 50~100개를 만들어 원본 입력과 정규화한 입력으로 돌리고, 재현율이 높은 쪽을 택하세요. 무엇을 고르든 문서와 쿼리에 똑같이 적용하세요.
정규화는 토큰 수도 약간 줄입니다. 발음 부호와 타트윌은 토크나이저에게 추가 문자이기 때문입니다. 측정된 비율은 토크나이저 효율 데이터셋과 아랍어의 단어당 토큰 수에 있습니다. 음성 인식을 공정하게 채점할 때도 같은 정규화를 씁니다. 아랍어 WER 설명을 참고하세요.
아라비지(라틴 문자로 쓴 아랍어)는 완전히 다른 접근이 필요합니다. LLM이 아라비지를 다루는 방법을 참고하세요.
BroadNet Inference의 위치
정규화는 내 코드에서 실행되므로 API가 필요 없습니다. BroadNet Inference는 검색 이후 단계에 들어옵니다. 임베딩은 판매하지 않으므로, 원하는 검색기와 임베딩 제공업체에 답변 단계용 BroadNet 채팅 모델을 조합하세요. GLM 5.3과 DeepSeek V4.1 Flash는 1,048,576토큰의 컨텍스트를 받으므로, 검색된 구절 여러 개를 정규화하지 않은 원래 아랍어 그대로 넘길 수 있습니다. 아랍어 품질 기준의 모델 선택은 아랍어용 LLM 고르기를 참고하세요. 키워드 검색만 필요하다면 Elasticsearch 내장 arabic 분석기로 충분할 수 있습니다.
