---
title: "유니코드 정규화란? LLM 텍스트의 NFC와 NFKC 비교 | BroadRouter"
description: "유니코드 정규화(NFC, NFD, NFKC, NFKD)는 같은 문자열이 같은 코드 포인트를 쓰게 합니다. 어떤 형식을 쓸지, 아랍어 PDF와 OCR 텍스트에 NFKC가 중요한 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/unicode-normalization/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/unicode-normalization/) (2026-11-15 업데이트).

# 유니코드 정규화(Unicode normalization)

업데이트 2026-11-15

유니코드 정규화는 텍스트를 표준 형식으로 바꿔, 똑같아 보이는 문자열이 같은 코드 포인트를 쓰게 하는 작업입니다. 형식은 NFD, NFC, NFKD, NFKC 네 가지이며, K 형식은 아랍어 표시형(presentation form)이나 합자 같은 호환 문자도 일반 글자로 바꿉니다.

다른 이름: 유니코드 정규화, 유니코드 노멀라이제이션, 정규화 형식, NFC, NFKC, NFD, NFKD, Unicode normalization

화면에서 똑같아 보이는 두 문자열이 동등 비교에서 실패할 수 있습니다. 해결책이 유니코드 정규화입니다.

## 작동 방식

UAX #15는 네 가지 형식을 정의합니다.

| 형식 | 정의 |
| --- | --- |
| NFD | 정준 분해 |
| NFC | 정준 분해 후 정준 결합 |
| NFKD | 호환 분해 |
| NFKC | 호환 분해 후 정준 결합 |

MDN의 표현을 빌리면 정준 등가(canonical equivalent) 문자는 똑같이 보이고 똑같이 동작해야 합니다. 호환 등가(compatibility equivalent) 문자는 “should be treated alike in some — but not necessarily all — applications”(번역: 일부 애플리케이션에서는 같게 취급해야 하지만 모든 애플리케이션에서 그럴 필요는 없습니다)이므로, NFKC와 NFKD는 텍스트의 겉모습을 바꿀 수 있습니다. JavaScript의 `normalize()`는 기본값이 NFC입니다. Python은 `unicodedata.normalize(form, s)`에서 같은 네 형식을 제공하고, 문자열을 검사하는 `unicodedata.is_normalized`도 제공합니다.

아랍어에는 두 종류가 모두 나타납니다.

**정준.** 유니코드 표준에 따르면 أ(U+0623)는 ا(U+0627)와 U+0654 HAMZA ABOVE로 분해됩니다. 일부 키보드나 변환기에서 온 텍스트는 두 문자 형태로 도착합니다. NFC가 이를 U+0623으로 다시 결합하므로 일치하게 됩니다.

**호환.** 유니코드는 문맥에 따른 글자 모양과 합자인 아랍어 표시형을 U+FB50~U+FDFF와 U+FE70~U+FEFE에 인코딩해 두었으며, 이는 호환용이고 “should not be used in general interchange”(번역: 일반적인 교환에 사용해서는 안 됩니다)라고 말합니다. 그래도 오래된 PDF에서 복사한 텍스트나 일부 OCR 출력에는 여전히 나타납니다. NFKC는 이를 일반 글자로 바꿉니다.

| 입력 | 코드 포인트 | NFKC 적용 후 |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا(글자 두 개) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله(글자 네 개) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

CAMeL Tools의 `normalize_unicode`는 기본으로 NFKC를 적용하며, 그 전에 특수 문자 두 개, 즉 리알 기호 U+FDFC와 바스말라 합자 U+FDFD를 일반 아랍어 글자로 바꿉니다.

## 왜 중요한가

-   **검색과 RAG.** 표시형이 들어 있는 PDF에서 추출한 문서는 일반 키보드로 입력한 질의와 일치하지 않습니다. 표준 글자를 전제로 하는 [아랍어 텍스트 정규화](https://broadrouter.com/ko/glossary/arabic-text-normalization/) 규칙보다 먼저 양쪽에 NFKC를 적용하세요.
-   **토큰 수.** 표시형은 일반 글자와 코드 포인트가 다르므로, [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/)가 눈에 보이는 같은 단어를 다른 수의 토큰으로 나눌 수 있습니다. UTF-8에서 ﻻ는 3바이트, لا는 4바이트입니다. 입력이 PDF에서 온다면 [아랍어 토큰 계산기](https://broadrouter.com/tools/arabic-token-counter/)로 두 버전을 모두 세어 보세요.
-   **검증.** 모델 출력을 원문과 비교하기 전에 정규화하세요. 예를 들어 추출한 개체가 실제로 문서에 있는지 확인할 때입니다.

## BroadNet Inference에서는

BroadNet API 레퍼런스는 서버에서 입력을 정규화하는지 밝히지 않으므로, 텍스트를 보내거나 색인하거나 비교하기 전에 직접 코드로 정규화하세요. 아랍어 문서라면 [비전 LLM OCR 글](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)과 [아랍어 송장 가이드](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)에서 [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) 같은 모델로 페이지를 이미지로 읽는 방법을 다루며, 이렇게 하면 깨진 PDF 텍스트 레이어를 피할 수 있습니다. 돌아온 텍스트는 매칭하기 전에 NFKC를 적용하세요.

## 흔한 실수

-   표시용으로 NFKC 텍스트를 저장하는 것. NFC 원본을 보관하세요.
-   문서는 정규화하고 질의는 정규화하지 않는 것.
-   정규화가 발음 구별 기호, 타트윌, bidi 마크를 지운다고 가정하는 것. 지우지 않습니다.

## 자주 묻는 질문

### NFC와 NFKC 중 무엇을 써야 하나요?

저장과 표시에는 겉모습을 바꾸지 않는 NFC를 쓰세요. 합자와 표시형을 합치는 것이 바람직한 검색 키와 매칭에는 NFKC를 쓰세요. MDN은 호환 형식이 겉모습을 바꾼다고 설명합니다.

### 유니코드 정규화를 하면 아랍어 발음 구별 기호가 사라지나요?

아니요. 발음 구별 기호는 별도의 문자이므로 그대로 남습니다. 이를 지우는 것은 아랍어 텍스트 정규화의 별도 단계입니다.

### 정규화로 보이지 않는 bidi 마크나 폭이 0인 문자가 지워지나요?

U+200F나 U+2067 같은 bidi 제어 문자는 지워지지 않습니다. NFC와 NFKC를 거쳐도 그대로 남습니다. 매칭을 방해한다면 따로 제거하세요.

## 함께 보기

-   [아랍어 텍스트 정규화(Arabic text normalization)](https://broadrouter.com/ko/glossary/arabic-text-normalization/) (용어)
-   [함자(hamza)](https://broadrouter.com/ko/glossary/hamza/) (용어)
-   [토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/) (용어)
-   [광학 문자 인식(OCR)](https://broadrouter.com/ko/glossary/ocr/) (용어)
-   [RTL 텍스트(오른쪽에서 왼쪽 쓰기, right-to-left text)](https://broadrouter.com/ko/glossary/rtl-text/) (용어)
-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [비전 모델로 아랍어 인보이스와 영수증 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/) (가이드)
-   [검색과 RAG를 위한 아랍어 텍스트 정규화: 바꿀 것과 둘 것](https://broadrouter.com/ko/blog/arabic-text-normalization-search/) (글)
-   [아랍어 OCR vs 비전 LLM: 아랍어 문서와 청구서 읽기](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/) (글)
-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-unicode-normalization&utm_content=page-cta) ·

**출처**

-   [Unicode Standard Annex #15, Unicode Normalization Forms(Unicode 18.0)(2026-11-15 확인)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize()(2026-11-15 확인)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python 문서, unicodedata(normalize, is\_normalized)(2026-11-15 확인)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, 9장 Middle East-I, 아랍 문자(표시형)(2026-11-15 확인)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [CAMeL Tools 소스, normalize.py(normalize\_unicode)(2026-11-15 확인)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
