---
title: "Ano ang Unicode normalization? NFC kontra NFKC sa LLM text"
description: "Pinagpapareho ng Unicode normalization (NFC, NFD, NFKC, NFKD) ang code point ng magkatumbas na string. Aling form ang gagamitin, at ang NFKC sa Arabic PDF at OCR."
url: https://broadrouter.com/fil/glossary/unicode-normalization/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/unicode-normalization/) (na-update noong 2026-11-15).

# Unicode normalization

Na-update 2026-11-15

Ang Unicode normalization ay ang pag-convert ng text sa isang standard na form para pareho ang code point ng mga string na magkamukha. Apat ang form: NFD, NFC, NFKD at NFKC; pinag-iisa rin ng mga K form ang mga compatibility character, gaya ng Arabic presentation forms at ligature, sa ordinaryong letra.

Tinatawag ding: normalization ng Unicode, NFC, NFKC, NFD, NFKD

Puwedeng magkamukha sa screen ang dalawang string pero pumalya pa rin sa equality check. Unicode normalization ang solusyon.

## Paano ito gumagana

Apat na form ang itinatakda ng UAX #15:

| Form | Kahulugan |
| --- | --- |
| NFD | Canonical decomposition |
| NFC | Canonical decomposition, saka canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition, saka canonical composition |

Sa salita ng MDN, dapat magkamukha at magkapareho ng kilos ang mga canonical equivalent. Ang mga compatibility equivalent naman ay “should be treated alike in some — but not necessarily all — applications” (Salin ng BroadRouter: “dapat ituring na pareho sa ilan — pero hindi kinakailangang sa lahat — ng application”), kaya puwedeng baguhin ng NFKC at NFKD ang hitsura ng text. NFC ang default ng `normalize()` ng JavaScript. Inaalok ng Python ang parehong apat na form sa `unicodedata.normalize(form, s)`, at ang `unicodedata.is_normalized` para subukin ang isang string.

Makikita ang dalawang uri sa Arabic.

**Canonical.** Ayon sa Unicode Standard, nade-decompose ang أ (U+0623) bilang ا (U+0627) dagdag ang U+0654 HAMZA ABOVE. May text mula sa ilang keyboard o converter na dumarating sa anyong dalawang character. Ibinabalik ito ng NFC sa U+0623, kaya tumutugma ito.

**Compatibility.** Ine-encode ng Unicode ang mga Arabic presentation form, mga hugis ng letra ayon sa context at mga ligature, sa U+FB50 hanggang U+FDFF at U+FE70 hanggang U+FEFE, at sinasabing para sa compatibility ang mga ito at “should not be used in general interchange” (Salin ng BroadRouter: “hindi dapat gamitin sa pangkalahatang palitan”). Lumalabas pa rin sila sa text na kinopya mula sa mga lumang PDF at sa ilang OCR output. Pinag-iisa sila ng NFKC:

| Input | Code point | Pagkatapos ng NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dalawang letra) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (apat na letra) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

Inilalapat ng `normalize_unicode` ng CAMeL Tools ang NFKC bilang default, pagkatapos munang i-map ang dalawang espesyal na character, ang Rial sign na U+FDFC at ang Basmala ligature na U+FDFD, sa mga ordinaryong Arabic na letra.

## Bakit ito mahalaga

-   **Search at RAG.** Hindi tutugma ang dokumentong kinuha mula sa PDF na may presentation forms sa query na tina-type sa normal na keyboard. Patakbuhin ang NFKC sa dalawa bago ang mga patakaran ng [Arabic text normalization](https://broadrouter.com/fil/glossary/arabic-text-normalization/), na umaasang standard ang mga letra.
-   **Bilang ng token.** Magkaibang code point ang presentation forms at ang mga ordinaryong letra, kaya puwedeng hatiin ng [tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) ang parehong nakikitang salita sa ibang bilang ng token. Sa UTF-8, 3 byte ang ﻻ at 4 ang لا. Bilangin ang dalawang bersiyon sa [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) kung galing sa PDF ang input mo.
-   **Validation.** Mag-normalize bago ikumpara ang output ng model sa source text, halimbawa kapag sinusuri kung talagang nasa dokumento ang isang na-extract na entity.

## Sa BroadNet Inference

Hindi sinasabi ng API reference ng BroadNet kung nino-normalize sa server ang input, kaya mag-normalize sa sarili mong code bago ka magpadala, mag-index o magkumpara ng text. Para sa mga Arabic na dokumento, saklaw ng [post tungkol sa OCR gamit ang vision LLM](https://broadrouter.com/fil/blog/arabic-ocr-vision-llm/) at ng [gabay sa Arabic invoices](https://broadrouter.com/fil/guides/read-arabic-invoices-with-vision/) ang pagbasa ng mga page bilang larawan gamit ang mga model gaya ng [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/), na umiiwas sa sirang text layer ng PDF. Patakbuhin ang NFKC sa anumang text na bumalik bago mo ito itugma.

## Mga karaniwang pagkakamali

-   Pag-store ng NFKC na text para sa display; panatilihin ang mga NFC na orihinal.
-   Pag-normalize sa mga dokumento pero hindi sa mga query.
-   Pag-aakalang tinatanggal ng normalization ang mga diacritic, tatweel o bidi mark. Hindi nito ginagawa iyon.

## Mga tanong

### NFC ba o NFKC ang dapat kong gamitin?

NFC para sa pag-store at pag-display ng text, dahil hindi nito binabago ang hitsura. NFKC para sa mga search key at matching, kung saan gusto mong pag-isahin ang mga ligature at presentation form. Ayon sa MDN, binabago ng mga compatibility form ang visual na hitsura.

### Tinatanggal ba ng Unicode normalization ang Arabic diacritics?

Hindi. Hiwalay na character ang mga diacritic at nananatili sila. Hiwalay na hakbang ng Arabic text normalization ang pag-alis sa mga ito.

### Tinatanggal ba ng normalization ang mga invisible bidi mark o zero-width character?

Hindi ang mga bidi control gaya ng U+200F o U+2067; dumaraan sila sa NFC at NFKC nang hindi nagbabago. Tanggalin sila nang hiwalay kung sinisira nila ang matching.

## Tingnan din

-   [Arabic text normalization](https://broadrouter.com/fil/glossary/arabic-text-normalization/) (termino)
-   [Hamza](https://broadrouter.com/fil/glossary/hamza/) (termino)
-   [Tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) (termino)
-   [Optical character recognition (OCR)](https://broadrouter.com/fil/glossary/ocr/) (termino)
-   [Right-to-left (RTL) text](https://broadrouter.com/fil/glossary/rtl-text/) (termino)
-   [Token](https://broadrouter.com/fil/glossary/token/) (termino)
-   [Basahin ang mga Arabic na invoice at resibo gamit ang vision model](https://broadrouter.com/fil/guides/read-arabic-invoices-with-vision/) (gabay)
-   [Arabic text normalization para sa search at RAG: ano ang babaguhin](https://broadrouter.com/fil/blog/arabic-text-normalization-search/) (artikulo)
-   [Arabic OCR vs vision LLM: pagbasa ng Arabic na dokumento at invoice](https://broadrouter.com/fil/blog/arabic-ocr-vision-llm/) (artikulo)
-   [Token kada salita sa Arabic vs English: bakit mas mahal ang Arabic](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-unicode-normalization&utm_content=page-cta) ·

**Mga source**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (sinuri noong 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (sinuri noong 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Dokumentasyon ng Python, unicodedata (normalize, is\_normalized) (sinuri noong 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, Chapter 9 Middle East-I, Arabic (presentation forms) (sinuri noong 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Source ng CAMeL Tools, normalize.py (normalize\_unicode) (sinuri noong 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
