---
title: "아랍어 텍스트 정규화란? 검색과 RAG를 위한 규칙 | BroadRouter"
description: "아랍어 텍스트 정규화는 알리프 변형, 타트윌, 발음 구별 기호 같은 표기 차이를 한 형태로 맞춰 검색, RAG, WER 채점이 일치하게 합니다. 규칙과 트레이드오프를 정리했습니다."
url: https://broadrouter.com/ko/glossary/arabic-text-normalization/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/arabic-text-normalization/) (2026-11-15 업데이트).

# 아랍어 텍스트 정규화(Arabic text normalization)

업데이트 2026-11-15

아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.

다른 이름: 아랍어 정규화, 알리프 정규화, 철자 정규화, 아랍어 표기 정규화, 타트윌, 카시다, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

아랍어 사용자는 같은 단어를 여러 방식으로 입력합니다. 정규화는 그 표기들이 서로 일치하게 만듭니다.

## 작동 방식

정규화는 저장된 텍스트와 쿼리 양쪽에 적용하는 문자 치환 규칙의 묶음입니다. 여러 검색 엔진에서 쓰는 Apache Lucene의 ArabicNormalizer는 다섯 가지 규칙을 둡니다.

1.  알리프 받침 위의 함자를 맨 알리프로 바꾸기
2.  타 마르부타(ة)를 하(ه)로 바꾸기
3.  점 없는 야, 즉 알리프 막수라(ى)를 야(ي)로 바꾸기
4.  하라카트([발음 구별 기호](https://broadrouter.com/ko/glossary/arabic-diacritics/)) 제거
5.  “늘이는 문자(stretching character)“인 타트윌 제거

CAMeL Tools는 같은 개념을 개별 함수로 제공합니다. `normalize_alef_ar`는 إ أ ٱ آ(U+0625, U+0623, U+0671, U+0622)를 ا로, `normalize_alef_maksura_ar`는 ى를 ي로, `normalize_teh_marbuta_ar`는 ة를 ه로 바꿉니다. `normalize_unicode`는 기본값으로 NFKC를 실행하는데, 이것은 [유니코드 정규화](https://broadrouter.com/ko/glossary/unicode-normalization/)이며 가장 먼저 적용해야 합니다.

타트윌(U+0640, 카시다라고도 함)은 유니코드 표준이 양쪽 정렬용으로 설명하는 연결 문자로, 글자 사이에 넣으면 줄이 늘어납니다. 의미가 없으므로 كتـــاب, كتاب 두 표기는 같은 것으로 매칭되어야 합니다.

예시는 다음과 같습니다.

| 입력 | 정규화 후 | 적용 규칙 |
| --- | --- | --- |
| إِسْلامٌ | اسلام | 발음 구별 기호, 알리프 |
| مدرسة | مدرسه | 타 마르부타 |
| مستشفى | مستشفي | 알리프 막수라 |
| كتـــاب | كتاب | 타트윌 |

## 왜 중요한가

Larkey, Ballesteros, Connell(2002)은 TREC-2001 아랍어 뉴스 컬렉션에서 구두점, 발음 구별 기호, 글자가 아닌 문자를 지우고 여러 글자 변형을 한 형태로 바꾸는 정규화를 적용했습니다. 정규화만으로 단일 언어 평균 정밀도가 .194에서 .238로 올랐고, 그 위에 light8 어간 추출기를 더하자 .376에 이르렀습니다.

같은 원리가 다음에도 적용됩니다.

-   **[RAG](https://broadrouter.com/ko/glossary/rag/)와 키워드 검색.** 함자 없이 입력한 쿼리도 함자가 있는 문서를 찾아야 합니다. [아랍어 RAG 검색](https://broadrouter.com/ko/blog/arabic-rag-search/)을 참고하세요.
-   **[단어 오류율](https://broadrouter.com/ko/glossary/word-error-rate/).** 아랍어 음성 인식 점수는 정답 텍스트와 전사 결과를 같은 방식으로 정규화했는지에 따라 달라집니다. [아랍어 WER 해설](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/)에서 그 효과를 보여 줍니다.
-   **중복 제거와 분석.** 정규화 없이 단어나 사용자 용어를 세면 한 단어가 여러 개로 쪼개집니다.

대가는 서로 다른 단어가 합쳐진다는 점입니다. 알리프를 통일하면 서로 다른 불변화사 إن, أن 두 단어가 같은 문자열이 되고, ة→ه 규칙은 كرة(공)과 كره(증오)를 합칩니다. [함자](https://broadrouter.com/ko/glossary/hamza/)와 [타 마르부타](https://broadrouter.com/ko/glossary/taa-marbuta/) 규칙은 조정 가능한 것으로 다루세요.

## BroadNet Inference에서는

정규화는 API가 아니라 내 코드에서 실행됩니다. BroadNet의 채팅 및 전사 엔드포인트는 보낸 텍스트나 오디오를 그대로 받습니다. 사본을 두 개 유지하세요. 모델과 사용자에게 보여 줄 원문, 그리고 매칭용 정규화 키입니다.

무료 [아랍어 텍스트 정규화 도구](https://broadrouter.com/tools/arabic-text-normalizer/)는 이 규칙들을 브라우저에서 적용해 각 규칙이 무엇을 바꾸는지 보여 줍니다. [정규화 가이드](https://broadrouter.com/ko/blog/arabic-text-normalization-search/)에는 테스트를 거친 Python 코드와 규칙별 설명이 있습니다.

## 흔한 실수

-   문서는 정규화하고 쿼리는 하지 않거나, 그 반대로 하는 것.
-   정규화된 텍스트를 사용자에게 보여 주거나 인용하는 것.
-   ى를 서로 다르게 매핑하는 것처럼 규칙이 다른 라이브러리를 섞어 쓰는 것.

## 자주 묻는 질문

### 정규화는 임베딩 검색에도 도움이 되나요?

고전적인 연구 결과는 키워드 검색에서 측정한 것입니다. 임베딩이라면 정규화한 입력과 원본 입력을 내 쿼리로 직접 테스트한 뒤 결정하세요.

### LLM에 보내기 전에 텍스트를 정규화해야 하나요?

대개는 아닙니다. 모델이 실제 철자, 함자, 발음 구별 기호를 볼 수 있도록 원문을 보내세요. 정규화는 매칭, 인덱싱, 채점에 쓰는 사본에만 적용하세요.

### 라이브러리마다 같은 규칙을 적용하나요?

아닙니다. CAMeL Tools와 Lucene은 둘 다 알리프 막수라를 야(yeh)로, 타 마르부타를 하(heh)로 바꾸지만, 다른 라이브러리는 다를 수 있습니다. 규칙 세트 하나를 정해 문서와 쿼리 양쪽에 똑같이 적용하세요.

## 함께 보기

-   [아랍어 발음 구별 기호(타슈킬, tashkeel)](https://broadrouter.com/ko/glossary/arabic-diacritics/) (용어)
-   [함자(hamza)](https://broadrouter.com/ko/glossary/hamza/) (용어)
-   [타 마르부타(taa marbuta, ة)](https://broadrouter.com/ko/glossary/taa-marbuta/) (용어)
-   [유니코드 정규화(Unicode normalization)](https://broadrouter.com/ko/glossary/unicode-normalization/) (용어)
-   [RAG(검색 증강 생성)](https://broadrouter.com/ko/glossary/rag/) (용어)
-   [단어 오류율(WER)](https://broadrouter.com/ko/glossary/word-error-rate/) (용어)
-   [검색과 RAG를 위한 아랍어 텍스트 정규화: 바꿀 것과 둘 것](https://broadrouter.com/ko/blog/arabic-text-normalization-search/) (글)
-   [아랍어 RAG: 제대로 작동하는 정규화, 청킹, 검색](https://broadrouter.com/ko/blog/arabic-rag-search/) (글)
-   [아랍어 음성 인식 단어 오류율(WER) 쉽게 이해하기](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-arabic-text-normalization&utm_content=page-cta) ·

**출처**

-   [CAMeL Tools 문서, camel\_tools.utils.normalize(2026-11-15 확인)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools 소스 코드, normalize.py(알리프, 알리프 막수라, 타 마르부타 규칙)(2026-11-15 확인)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer(2026-11-15 확인)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros, Connell, Improving Stemming for Arabic Information Retrieval(SIGIR 2002)(2026-11-15 확인)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, 9장 Middle East-I, 아랍 문자(타트윌)(2026-11-15 확인)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
