BroadRouter
시작하기

유니코드 정규화(Unicode normalization)

업데이트

유니코드 정규화는 텍스트를 표준 형식으로 바꿔, 똑같아 보이는 문자열이 같은 코드 포인트를 쓰게 하는 작업입니다. 형식은 NFD, NFC, NFKD, NFKC 네 가지이며, K 형식은 아랍어 표시형(presentation form)이나 합자 같은 호환 문자도 일반 글자로 바꿉니다.

다른 이름: 유니코드 정규화, 유니코드 노멀라이제이션, 정규화 형식, NFC, NFKC, NFD, NFKD, Unicode normalization

화면에서 똑같아 보이는 두 문자열이 동등 비교에서 실패할 수 있습니다. 해결책이 유니코드 정규화입니다.

작동 방식

UAX #15는 네 가지 형식을 정의합니다.

형식 정의
NFD 정준 분해
NFC 정준 분해 후 정준 결합
NFKD 호환 분해
NFKC 호환 분해 후 정준 결합

MDN의 표현을 빌리면 정준 등가(canonical equivalent) 문자는 똑같이 보이고 똑같이 동작해야 합니다. 호환 등가(compatibility equivalent) 문자는 “should be treated alike in some — but not necessarily all — applications”(번역: 일부 애플리케이션에서는 같게 취급해야 하지만 모든 애플리케이션에서 그럴 필요는 없습니다)이므로, NFKC와 NFKD는 텍스트의 겉모습을 바꿀 수 있습니다. JavaScript의 normalize()는 기본값이 NFC입니다. Python은 unicodedata.normalize(form, s)에서 같은 네 형식을 제공하고, 문자열을 검사하는 unicodedata.is_normalized도 제공합니다.

아랍어에는 두 종류가 모두 나타납니다.

정준. 유니코드 표준에 따르면 أ(U+0623)는 ا(U+0627)와 U+0654 HAMZA ABOVE로 분해됩니다. 일부 키보드나 변환기에서 온 텍스트는 두 문자 형태로 도착합니다. NFC가 이를 U+0623으로 다시 결합하므로 일치하게 됩니다.

호환. 유니코드는 문맥에 따른 글자 모양과 합자인 아랍어 표시형을 U+FB50U+FDFF와 U+FE70U+FEFE에 인코딩해 두었으며, 이는 호환용이고 “should not be used in general interchange”(번역: 일반적인 교환에 사용해서는 안 됩니다)라고 말합니다. 그래도 오래된 PDF에서 복사한 텍스트나 일부 OCR 출력에는 여전히 나타납니다. NFKC는 이를 일반 글자로 바꿉니다.

입력 코드 포인트 NFKC 적용 후
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا(글자 두 개)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله(글자 네 개)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

CAMeL Tools의 normalize_unicode는 기본으로 NFKC를 적용하며, 그 전에 특수 문자 두 개, 즉 리알 기호 U+FDFC와 바스말라 합자 U+FDFD를 일반 아랍어 글자로 바꿉니다.

왜 중요한가

  • 검색과 RAG. 표시형이 들어 있는 PDF에서 추출한 문서는 일반 키보드로 입력한 질의와 일치하지 않습니다. 표준 글자를 전제로 하는 아랍어 텍스트 정규화 규칙보다 먼저 양쪽에 NFKC를 적용하세요.
  • 토큰 수. 표시형은 일반 글자와 코드 포인트가 다르므로, 토크나이저가 눈에 보이는 같은 단어를 다른 수의 토큰으로 나눌 수 있습니다. UTF-8에서 ﻻ는 3바이트, لا는 4바이트입니다. 입력이 PDF에서 온다면 아랍어 토큰 계산기로 두 버전을 모두 세어 보세요.
  • 검증. 모델 출력을 원문과 비교하기 전에 정규화하세요. 예를 들어 추출한 개체가 실제로 문서에 있는지 확인할 때입니다.

BroadNet Inference에서는

BroadNet API 레퍼런스는 서버에서 입력을 정규화하는지 밝히지 않으므로, 텍스트를 보내거나 색인하거나 비교하기 전에 직접 코드로 정규화하세요. 아랍어 문서라면 비전 LLM OCR 글과 아랍어 송장 가이드에서 Gemma 4 VL 26B 같은 모델로 페이지를 이미지로 읽는 방법을 다루며, 이렇게 하면 깨진 PDF 텍스트 레이어를 피할 수 있습니다. 돌아온 텍스트는 매칭하기 전에 NFKC를 적용하세요.

흔한 실수

  • 표시용으로 NFKC 텍스트를 저장하는 것. NFC 원본을 보관하세요.
  • 문서는 정규화하고 질의는 정규화하지 않는 것.
  • 정규화가 발음 구별 기호, 타트윌, bidi 마크를 지운다고 가정하는 것. 지우지 않습니다.

자주 묻는 질문

NFC와 NFKC 중 무엇을 써야 하나요?

저장과 표시에는 겉모습을 바꾸지 않는 NFC를 쓰세요. 합자와 표시형을 합치는 것이 바람직한 검색 키와 매칭에는 NFKC를 쓰세요. MDN은 호환 형식이 겉모습을 바꾼다고 설명합니다.

유니코드 정규화를 하면 아랍어 발음 구별 기호가 사라지나요?

아니요. 발음 구별 기호는 별도의 문자이므로 그대로 남습니다. 이를 지우는 것은 아랍어 텍스트 정규화의 별도 단계입니다.

정규화로 보이지 않는 bidi 마크나 폭이 0인 문자가 지워지나요?

U+200F나 U+2067 같은 bidi 제어 문자는 지워지지 않습니다. NFC와 NFKC를 거쳐도 그대로 남습니다. 매칭을 방해한다면 따로 제거하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기