---
title: "검색·RAG를 위한 아랍어 텍스트 정규화 | BroadRouter"
description: "타쉬킬, 알리프 형태, 타 마르부타, 함자 받침, 페르시아 문자, 숫자, 유니코드까지. 검색에 도움이 되는 아랍어 정규화 규칙과 해가 되는 규칙, 테스트한 파이썬 코드를 정리했습니다."
url: https://broadrouter.com/ko/blog/arabic-text-normalization-search/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/arabic-text-normalization-search/) (2026-11-16 업데이트).

# 검색과 RAG를 위한 아랍어 텍스트 정규화: 바꿀 것과 둘 것

BroadNet Inference 팀 · 7분 분량 · 게시 2026-11-15 · 업데이트 2026-11-16

검색과 RAG 색인에서는 저장된 사본과 모든 쿼리를 똑같이 정규화하세요. 유니코드 NFKC, 타쉬킬과 타트윌 제거, 알리프 형태 통일, ى를 ي로, ة를 ه로, 숫자 변환입니다. 원문은 화면 표시와 LLM 입력용으로 보관하세요. 함자 받침과 타 마르부타는 조정 가능한 규칙으로 다루세요. 재현율은 오르지만 서로 다른 단어 일부가 합쳐집니다.

## 핵심 요약

-   정규화는 검색 키에만 하고, 보여 주거나 인용하는 텍스트에는 하지 마세요. 원문은 그 옆에 저장하세요.
-   TREC-2001 아랍어 뉴스 기사를 쓴 고전적인 연구에서 정규화만으로 평균 정밀도가 .194에서 .238로 올랐고, 그 위에 경량 어간 추출을 더하자 .376에 도달했습니다.
-   유니코드 NFKC를 먼저 실행하세요. 분해된 함자를 합치고, 표시형과 합자를 풀어, 이후 규칙이 안정적으로 동작하게 합니다.
-   라이브러리마다 규칙이 다릅니다. PyArabic의 normalize\_alef는 ى를 ا로, CAMeL Tools는 ى를 ي로 바꿉니다. 규칙 세트 하나를 골라 어디서나 쓰세요.
-   임베딩 검색에서는 내 쿼리로 정규화한 입력과 원본 입력을 테스트하세요. 정규화 규칙의 효과는 키워드 검색에서 측정된 것입니다.

**이 페이지의 내용**

1.  정규화가 실제로 검색에 도움이 되나요?
2.  무엇을 정규화해야 하고, 각 규칙의 대가는 무엇인가요?
3.  왜 유니코드 정규화를 가장 먼저 해야 하나요?
4.  정규화하면 안 되는 것은 무엇인가요?
5.  CAMeL Tools, PyArabic, Lucene은 어떻게 다른가요?
6.  테스트한 정규화기는 어떤 모습인가요?
7.  정규화는 임베딩과 RAG에서 어떻게 쓰이나요?
8.  BroadNet Inference의 위치

아랍어에서는 같은 단어를 여러 방식으로 쓸 수 있습니다. 사용자는 احمد라고 입력하는데 문서에는 أَحْمَد라고 적혀 있습니다. 문자를 정확히 비교하는 검색 색인은 이 매칭을 놓치고, RAG 파이프라인의 키워드 검색 쪽도 마찬가지입니다. 정규화는 비교 전에 변형을 하나의 형태로 바꿔 이 문제를 해결합니다. 대충 하면 뜻이 다른 단어까지 합쳐 버립니다. 이 글에서는 규칙을 하나씩 살펴봅니다. 각 규칙이 무엇을 하는지, 언제 적용하는지, 무엇을 망가뜨리는지, 주요 라이브러리가 어떻게 다른지 본 뒤, 테스트한 파이썬 코드로 마무리합니다.

아랍어 RAG 파이프라인 전체(청크 분할, 하이브리드 검색, 출처가 달린 답변)는 [제대로 동작하는 아랍어 RAG](https://broadrouter.com/ko/blog/arabic-rag-search/)를 참고하세요. 이 글은 정규화 단계를 더 깊이 다룹니다.

## 정규화가 실제로 검색에 도움이 되나요?

키워드 검색에서는 그렇습니다. 근거는 오래되었지만 분명합니다. Larkey, Ballesteros, Connell(SIGIR 2002)은 TREC-2001 뉴스 기사 컬렉션으로 아랍어 검색을 테스트했습니다. 어간 추출 전에 코퍼스와 쿼리를 정규화했습니다. 발음 부호와 문장 부호를 지우고, 알리프 형태를 통일하고, 단어 끝의 ى와 ة를 바꿨습니다. 확장하지 않은 쿼리로 얻은 단일 언어 결과는 다음과 같습니다.

| 처리 | 평균 정밀도 | 원본 대비 변화(반올림된 수치 기준) |
| --- | --- | --- |
| 원본 텍스트 | .194 | — |
| 정규화 | .238 | +22.7% |
| 정규화 + 경량 어간 추출(light8) | .376 | +93.8% |

주의할 점이 두 가지 있습니다. 이것은 임베딩 검색이 아니라 2002년의 뉴스 키워드 검색입니다. 그리고 가장 큰 개선은 정규화와는 별개 단계인 경량 어간 추출(و, ال 같은 접두사와 흔한 접미사 제거)에서 나왔습니다. Lucene의 `ArabicAnalyzer`와 Elasticsearch의 `arabic` 분석기는 둘 다 적용합니다. 정규화기를 거친 뒤 경량 어간 추출기를 거칩니다.

## 무엇을 정규화해야 하고, 각 규칙의 대가는 무엇인가요?

| 규칙 | 예시 | 검색 색인 | 위험 |
| --- | --- | --- | --- |
| 유니코드 NFKC | ﻻ → لا, ا + ٔ → أ | 예, 항상 가장 먼저 | 다른 문자 체계의 호환 문자도 바꿈 |
| 보이지 않는 기호 제거 | 폭 없는 결합자, RLM/LRM, BOM | 예 | 아랍어에는 없음. 페르시아어에서는 ZWNJ가 중요 |
| 타쉬킬 제거 | أَحْمَدُ → أحمد | 예 | 모음으로만 구별되는 단어가 합쳐짐 |
| 타트윌(ـ) 제거 | الـــمدينة → المدينة | 예 | 없음 |
| 알리프 통일 | أ إ آ ٱ → ا | 예 | 몇몇 쌍이 합쳐짐: سأل(물었다)과 سال(흘렀다) |
| 알리프 막수라 | ى → ي | 대개 | على(위에)와 علي(알리)가 합쳐짐 |
| 타 마르부타 | ة → ه | 대개 | كتابة(글쓰기)와 كتابه(그의 책)가 합쳐짐 |
| 함자 받침 | ؤ ئ → ء | 선택 | مسؤول과 مسئول이 합쳐지지만(좋음) 서로 다른 단어도 일부 합쳐짐 |
| 페르시아 문자 | ی → ي, ک → ك | 사용자가 페르시아어 키보드를 쓴다면 예 | 아랍어 텍스트에는 없음 |
| 숫자 | ٢٠٢٦과 ۲۰۲۶ → 2026 | 예 | 없음. 화면 표시용 원문은 보관 |

세 번째 열은 색인 키와 쿼리에 대한 것입니다. 저장하고, 보여 주고, 모델에 넘기는 텍스트는 쓰인 그대로 둡니다.

## 왜 유니코드 정규화를 가장 먼저 해야 하나요?

눈에 보이는 같은 글자가 여러 방식으로 저장될 수 있습니다. أ는 코드 포인트 하나(U+0623)일 수도 있고, 맨 알리프 뒤에 결합 함자가 오는 형태(U+0627 U+0654)일 수도 있습니다. 오래된 PDF와 일부 키보드는 한 문자짜리 람-알리프 ﻻ 같은 아랍어 표시형(U+FB50~U+FEFF)을 만들어 냅니다. [유니코드 정규화](https://unicode.org/reports/tr15/)에서 NFC는 함자를 알리프에 합치고, NFKC는 표시형과 합자도 풉니다. 파이썬에서 `unicodedata.normalize("NFKC", "ﻻ")`는 لا를 돌려주고, `ﷲ`는 الله가 됩니다.

이 단계를 무엇보다 먼저 실행하세요. 그렇지 않으면 أ를 바꾸는 정규식이 분해된 형태를 놓칩니다. 두 번째 함정도 있습니다. CAMeL Tools의 `dediac_ar`는 `AR_DIAC_CHARSET`(U+064B~U+0652와 U+0670)에 있는 문자를 지웁니다. 이 세트에는 결합 함자와 마다 기호(U+0653~U+0655)가 빠져 있어서, 분해된 텍스트에서는 발음 부호 제거 후에도 이것들이 남습니다. NFKC가 먼저 이들을 합쳐 줍니다.

NFKC는 호환성 매핑입니다. 전각 라틴 문자처럼 아랍어 밖의 문자도 바꿉니다. 검색 키에서는 대개 원하는 동작이고, 원문을 옆에 보관해야 할 이유가 하나 더 생기는 셈입니다.

## 정규화하면 안 되는 것은 무엇인가요?

-   **보여 주거나, 출처로 달거나, 인용하는 텍스트.** 정규화된 아랍어는 철자가 틀린 것처럼 보입니다(المدينه). 원문을 키 옆에 저장하세요.
-   **LLM에 보내는 것.** 모델은 함자와 타쉬킬을 잘 읽고, 정확한 텍스트가 이름과 인용을 올바르게 유지해 줍니다. 타쉬킬을 지우면 토큰이 조금 줄지만, 정확도와 맞바꾸기 전에 [아랍어 토큰 카운터](https://broadrouter.com/tools/arabic-token-counter/)로 얼마나 줄어드는지 확인하세요.
-   **부호가 의미를 갖는 텍스트:** 꾸란, 하디스, 시, 어린이 책, 발음과 발음 부호 처리 작업([LLM으로 발음 부호 넣기](https://broadrouter.com/ko/blog/arabic-diacritization-llm/) 참고).
-   **맞춤법이나 문법 교정:** 먼저 정규화하면 고치려는 함자와 타 마르부타 오류가 지워집니다. [LLM으로 아랍어 문법·맞춤법 교정하기](https://broadrouter.com/ko/blog/arabic-grammar-spelling-correction-llm/)를 참고하세요.
-   **식별자.** 제품 코드, 이메일, URL, 라틴 문자 텍스트는 아랍어 규칙을 거치면 안 됩니다. 정규화는 아랍 문자 필드나 아랍어 토큰에만 적용하세요.
-   **사람들이 정확히 검색하는 필드.** 법적 이름이나 ID 같은 필드는 원본 사본도 색인해, 정확히 일치하는 결과가 여전히 맨 위에 오게 하세요.

## CAMeL Tools, PyArabic, Lucene은 어떻게 다른가요?

세 라이브러리는 같은 규칙을 구현하지 않으며, 섞어 쓰면 색인과 쿼리가 영영 매칭되지 않습니다. 저희는 각 라이브러리의 문서와 소스를 읽고 PyArabic 0.6.15를 실행해 봤습니다.

| 함수 | 실제로 하는 일 |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC(`compatibility=False`면 NFC). ﷼를 ريال로, ﷽를 전체 구절로 펼치기도 함 |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | U+064B~U+0652와 U+0670을 지움. 타트윌은 남김 |
| PyArabic `strip_tashkeel` | 샤다를 포함한 모든 하라카트를 지움 |
| PyArabic `strip_tatweel` | ـ를 지움 |
| PyArabic `normalize_alef` | 모든 알리프 형태 **와 ى** → ا. 그래서 إلى가 الا가 됨 |
| PyArabic `normalize_hamza` | 기본 방식은 أ를 포함한 모든 함자 형태를 ء로 바꿈. 그래서 أحمد가 ءحمد가 됨 |
| Lucene `ArabicNormalizer` | 알리프 위·아래 함자 형태 → ا, ة → ه, ى → ي, 하라카트와 타트윌 제거 |

PyArabic 행은 사람들을 놀라게 합니다. `normalize_alef`의 독스트링은 알리프 막수라가 예외라고 하지만, 0.6.15에서는 `ALEFAT` 세트에 ى가 들어 있어 함수가 이를 ا로 바꿉니다. `normalize_hamza`는 일반 검색이 아니라 함자를 무시하는 매칭을 위해 만들어졌습니다. 순서도 중요합니다. 알리프 정규화를 먼저 하면 `normalize_hamza`는 ؤ, ئ, ء만 건드리므로 مسؤول과 مسئول이 둘 다 مسءول이 됩니다. `tasheel` 방식은 대신 مسوول과 مسيول을 내놓아 서로 매칭되지 않습니다.

Elasticsearch의 `arabic_normalization` 필터는 Lucene 정규화기를 쓰므로, Elasticsearch 색인과 매칭하려는 파이썬 파이프라인은 Lucene 규칙을 그대로 따라야 합니다. 즉 ى → ا가 아니라 ى → ي입니다.

## 테스트한 정규화기는 어떤 모습인가요?

이 함수는 Lucene의 선택을 따르고, 유니코드, 숫자, 페르시아 문자 처리를 더하고, 위험한 규칙은 켜고 끌 수 있게 했습니다. 표준 라이브러리만 씁니다.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

테스트 문자열에서 돌려준 결과는 다음과 같습니다.

| 입력 | 출력 | 메모 |
| --- | --- | --- |
| أَحْمَدُ | احمد | 타쉬킬과 함자가 사라짐 |
| الـــمدينة | المدينه | 타트윌과 타 마르부타 |
| إلى | الي | 알리프와 알리프 막수라 |
| ا + U+0654 + مل | امل | 분해된 함자가 합쳐진 뒤 통일됨 |
| ﻻبد | لابد | 표시형이 풀림 |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | 아랍-인도 숫자와 페르시아 숫자 |
| مسؤول / مسئول | `hamza_seats=True`면 둘 다 مسءول | 기본값에서는 그대로 |
| فارسی | فارسي | 페르시아어 야 |

이 함수는 두 곳에서 쓰세요. 색인 키를 만들 때와 쿼리를 읽을 때입니다. `original`과 `normalize(original)`을 나란히 저장하고, 두 번째로 검색해 첫 번째를 돌려주세요. 무료 [아랍어 텍스트 정규화 도구](https://broadrouter.com/tools/arabic-text-normalizer/)에 텍스트를 붙여 넣으면 설정을 고르기 전에 규칙마다 효과를 볼 수 있습니다.

## 정규화는 임베딩과 RAG에서 어떻게 쓰이나요?

RAG 파이프라인에는 대개 검색기가 두 개 있습니다. 키워드 검색(BM25)과 [임베딩](https://broadrouter.com/ko/glossary/embeddings/)입니다. 정규화는 키워드 쪽에는 분명히 도움이 됩니다. 임베딩 쪽에는 위 근거가 적용되지 않습니다. 임베딩 모델은 원본 텍스트로 학습하며, 많은 모델이 이미 احمد와 أحمد를 가깝게 둡니다. 임베딩 전 정규화는 도움이 될 수도, 아무 효과가 없을 수도, 해가 될 수도 있습니다. 답을 아는 실제 쿼리 50~100개를 만들어 원본 입력과 정규화한 입력으로 돌리고, 재현율이 높은 쪽을 택하세요. 무엇을 고르든 문서와 쿼리에 똑같이 적용하세요.

정규화는 토큰 수도 약간 줄입니다. 발음 부호와 타트윌은 [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/)에게 추가 문자이기 때문입니다. 측정된 비율은 [토크나이저 효율 데이터셋](https://broadrouter.com/data/tokenizer-efficiency/)과 [아랍어의 단어당 토큰 수](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)에 있습니다. 음성 인식을 공정하게 채점할 때도 같은 정규화를 씁니다. [아랍어 WER 설명](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/)을 참고하세요.

아라비지(라틴 문자로 쓴 아랍어)는 완전히 다른 접근이 필요합니다. [LLM이 아라비지를 다루는 방법](https://broadrouter.com/ko/blog/arabizi-llm-handling/)을 참고하세요.

## BroadNet Inference의 위치

정규화는 내 코드에서 실행되므로 API가 필요 없습니다. BroadNet Inference는 검색 이후 단계에 들어옵니다. 임베딩은 판매하지 않으므로, 원하는 검색기와 임베딩 제공업체에 답변 단계용 BroadNet 채팅 모델을 조합하세요. [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/)과 DeepSeek V4.1 Flash는 1,048,576토큰의 컨텍스트를 받으므로, 검색된 구절 여러 개를 정규화하지 않은 원래 아랍어 그대로 넘길 수 있습니다. 아랍어 품질 기준의 모델 선택은 [아랍어용 LLM 고르기](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)를 참고하세요. 키워드 검색만 필요하다면 Elasticsearch 내장 `arabic` 분석기로 충분할 수 있습니다.

관련 무료 도구 (영어)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[임베딩(embedding)](https://broadrouter.com/ko/glossary/embeddings/)

임베딩은 모델이 텍스트, 이미지 등의 입력을 표현하기 위해 만드는 부동소수점 숫자 목록(벡터)입니다. 의미가 비슷한 입력은 서로 가까운 벡터를 얻으므로, 벡터 사이의 거리로 검색 결과의 순위를 매기거나 문서를 군집화하거나 관련 항목을 찾을 수 있습니다.

[유니코드 정규화(Unicode normalization)](https://broadrouter.com/ko/glossary/unicode-normalization/)

유니코드 정규화는 텍스트를 표준 형식으로 바꿔, 똑같아 보이는 문자열이 같은 코드 포인트를 쓰게 하는 작업입니다. 형식은 NFD, NFC, NFKD, NFKC 네 가지이며, K 형식은 아랍어 표시형(presentation form)이나 합자 같은 호환 문자도 일반 글자로 바꿉니다.

[토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/)

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[타 마르부타(taa marbuta, ة)](https://broadrouter.com/ko/glossary/taa-marbuta/)

타 마르부타(ة, U+0629)는 단어 끝에만 나타나는 아랍어 글자로, 여성 명사와 형용사를 표시하는 경우가 많습니다. 점 두 개가 붙은 헤(ه, U+0647)처럼 생겨서 입력된 텍스트에서 둘이 섞이며, 많은 검색 정규화 도구가 ة를 ه로 바꿉니다.

[BM25](https://broadrouter.com/ko/glossary/bm25/)

BM25(Okapi BM25)는 키워드 검색용 랭킹 함수로, 쿼리 단어가 문서에 얼마나 자주 나오는지, 그 단어가 전체 컬렉션에서 얼마나 드문지, 문서가 얼마나 긴지를 바탕으로 문서 점수를 매깁니다. Lucene과 Elasticsearch의 기본 유사도 함수입니다.

[아랍어 텍스트 정규화(Arabic text normalization)](https://broadrouter.com/ko/glossary/arabic-text-normalization/)

아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.

[단어 오류율(WER)](https://broadrouter.com/ko/glossary/word-error-rate/)

단어 오류율(WER)은 음성 인식의 표준 정확도 지표입니다. 전사 결과를 올바른 정답 텍스트로 바꾸는 데 필요한 단어 치환, 삭제, 삽입 횟수를 정답 텍스트의 단어 수로 나눈 값이며, 낮을수록 좋습니다.

## 자주 묻는 질문

### 아랍어 텍스트를 색인하기 전에 타쉬킬(발음 부호)을 지워야 하나요?

검색이라면 그렇습니다. 대부분의 쿼리와 현대 텍스트에는 발음 부호가 없어서, 그렇지 않으면 발음 부호가 붙은 문서가 매칭되지 않습니다. 색인 키와 쿼리에서는 지우고, 화면 표시용 원문은 보관하고, 꾸란, 시, 발음 작업처럼 부호가 의미를 갖는 경우에는 유지하세요.

### 타 마르부타(ة)를 하(ه)로 정규화해야 하나요?

검색에서는 대개 그렇습니다. 많은 사람이 단어 끝에 ه를 입력하기 때문입니다. 다만 كتابة(글쓰기)와 كتابه(그의 책) 같은 일부 쌍이 합쳐집니다. 내 도메인에서 이런 충돌이 중요하다면 ة를 유지하고 두 설정을 모두 테스트하세요.

### Elasticsearch에서 아랍어 정규화는 무엇을 하나요?

arabic\_normalization 토큰 필터는 Lucene의 ArabicNormalizer를 씁니다. 알리프 위·아래 함자 형태를 맨 알리프로, 타 마르부타를 하로, 알리프 막수라를 야로 바꾸고, 하라카트와 타트윌을 지웁니다. 내장 arabic 분석기는 여기에 불용어와, 붙어 있는 관사, 접속사, 전치사, 흔한 접미사를 떼는 어간 추출기를 더합니다.

### 아랍어 정규화가 임베딩 검색에 도움이 되나요?

확립되지 않았습니다. 측정된 개선은 키워드 검색에서 나온 것입니다. 임베딩 모델은 원본 텍스트로 학습하고 철자 변형도 처리하는 경우가 많으므로, 실제 쿼리로 작은 세트를 만들어 정규화 유무에 따른 재현율을 비교한 뒤 결정하세요.

### LLM에 보내기 전에 아랍어 텍스트를 정규화해야 하나요?

대체로 아닙니다. 인용, 이름, 출처가 정확하게 유지되도록 원문을 보내세요. 타쉬킬을 지우면 토큰이 조금 줄지만, 작업에 부호가 필요 없을 때만 그렇게 하세요.

## 이어서 읽기

-   [아랍어 RAG: 제대로 작동하는 정규화, 청킹, 검색](https://broadrouter.com/ko/blog/arabic-rag-search/)
-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)
-   [아랍어 음성 인식 단어 오류율(WER) 쉽게 이해하기](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/)
-   [아라비지와 LLM: 3, 7 같은 숫자를 쓰는 프랑코 아랍어 처리하기](https://broadrouter.com/ko/blog/arabizi-llm-handling/)
-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)
-   [LLM으로 아랍어 개체명 추출하기: JSON, 날짜, 검증](https://broadrouter.com/ko/blog/arabic-named-entity-extraction-llm/)
-   [LLM으로 아랍어 발음 부호 넣기: 프롬프트, 검증, DER](https://broadrouter.com/ko/blog/arabic-diacritization-llm/)
-   [LLM으로 아랍어 문법·맞춤법 교정하기: 실전 가이드](https://broadrouter.com/ko/blog/arabic-grammar-spelling-correction-llm/)
-   [아랍어 회의 녹음으로 회의록 만들기: API 파이프라인](https://broadrouter.com/ko/blog/arabic-meeting-minutes-from-recordings/)
-   [아랍어 OCR API 비교: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/ko/blog/arabic-ocr-api-comparison/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**출처**

-   [Larkey, Ballesteros, Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (2026-11-15 확인)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [CAMeL Tools 1.6.0 문서, camel\_tools.utils.normalize (2026-11-15 확인)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools 소스, charsets.py: dediac\_ar가 쓰는 AR\_DIAC\_CHARSET (2026-11-15 확인)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [GitHub의 PyArabic 0.6.15, araby 모듈 (2026-11-15 확인)](https://github.com/linuxscout/pyarabic)
-   [Apache Lucene 9.12 ArabicNormalizer 문서 (2026-11-15 확인)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Elasticsearch 정규화 토큰 필터: arabic\_normalization (2026-11-15 확인)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (2026-11-15 확인)](https://unicode.org/reports/tr15/)
-   [유니코드 아랍어 코드 차트, U+0600~U+06FF (2026-11-15 확인)](https://www.unicode.org/charts/PDF/U0600.pdf)
