---
title: "Chuẩn hóa Unicode là gì? NFC và NFKC cho văn bản LLM"
description: "Chuẩn hóa Unicode (NFC, NFD, NFKC, NFKD) giúp các chuỗi tương đương dùng cùng code point. Nên dùng dạng nào, vì sao NFKC quan trọng với văn bản PDF, OCR tiếng Ả Rập."
url: https://broadrouter.com/vi/glossary/unicode-normalization/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/unicode-normalization/) (cập nhật ngày 2026-11-15).

# Chuẩn hóa Unicode (Unicode normalization)

Cập nhật 2026-11-15

Chuẩn hóa Unicode chuyển văn bản về một dạng chuẩn để các chuỗi trông giống nhau dùng cùng code point. Có bốn dạng: NFD, NFC, NFKD và NFKC; các dạng K còn gộp ký tự tương thích, như dạng trình bày (presentation form) và chữ ghép tiếng Ả Rập, thành chữ cái thông thường.

Còn gọi là: chuẩn hóa Unicode là gì, Unicode normalization, dạng chuẩn hóa Unicode, Unicode dựng sẵn và tổ hợp, NFC, NFKC, NFD, NFKD

Hai chuỗi có thể trông giống hệt nhau trên màn hình mà vẫn so sánh bằng ra sai. Chuẩn hóa Unicode là cách sửa.

## Cách hoạt động

UAX #15 định nghĩa bốn dạng:

| Dạng | Định nghĩa |
| --- | --- |
| NFD | Phân rã chính tắc (canonical decomposition) |
| NFC | Phân rã chính tắc, rồi tổ hợp chính tắc |
| NFKD | Phân rã tương thích (compatibility decomposition) |
| NFKC | Phân rã tương thích, rồi tổ hợp chính tắc |

Theo cách nói của MDN, các ký tự tương đương chính tắc phải trông và hoạt động giống nhau. Các ký tự tương đương tương thích “should be treated alike in some — but not necessarily all — applications” (Bản dịch: nên được xử lý như nhau trong một số, nhưng không nhất thiết tất cả, ứng dụng), nên NFKC và NFKD có thể làm thay đổi hình thức văn bản. `normalize()` của JavaScript mặc định dùng NFC. Python cung cấp cùng bốn dạng qua `unicodedata.normalize(form, s)`, và `unicodedata.is_normalized` để kiểm tra một chuỗi.

Tiếng Ả Rập có cả hai loại.

**Chính tắc.** Unicode Standard nói أ (U+0623) phân rã thành ا (U+0627) cộng U+0654 HAMZA ABOVE. Văn bản từ một số bàn phím hoặc bộ chuyển đổi đến ở dạng hai ký tự. NFC tổ hợp lại thành U+0623, nên so khớp được.

**Tương thích.** Unicode mã hóa các dạng trình bày tiếng Ả Rập, tức hình dạng chữ theo ngữ cảnh và chữ ghép, ở U+FB50 đến U+FDFF và U+FE70 đến U+FEFE, và nói chúng dùng cho mục đích tương thích và “should not be used in general interchange” (Bản dịch: không nên dùng trong trao đổi thông thường). Dù vậy, chúng vẫn xuất hiện trong văn bản sao chép từ PDF cũ và một số output OCR. NFKC gộp chúng lại:

| Đầu vào | Code point | Sau NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (hai chữ cái) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (bốn chữ cái) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

`normalize_unicode` của CAMeL Tools mặc định áp dụng NFKC, sau khi đã ánh xạ hai ký tự đặc biệt, ký hiệu Rial U+FDFC và chữ ghép Basmala U+FDFD, sang chữ cái tiếng Ả Rập thông thường.

## Vì sao quan trọng

-   **Tìm kiếm và RAG.** Một tài liệu trích từ PDF có dạng trình bày sẽ không khớp với truy vấn gõ bằng bàn phím thông thường. Hãy chạy NFKC cho cả hai trước các quy tắc [chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-text-normalization/), vốn giả định chữ cái chuẩn.
-   **Số token.** Dạng trình bày có code point khác với chữ cái thông thường, nên [tokenizer](https://broadrouter.com/vi/glossary/tokenizer/) có thể tách cùng một từ nhìn thấy được thành số token khác nhau. Trong UTF-8, ﻻ chiếm 3 byte còn لا chiếm 4. Nếu input của bạn đến từ PDF, hãy đếm cả hai phiên bản bằng [công cụ đếm token tiếng Ả Rập](https://broadrouter.com/tools/arabic-token-counter/).
-   **Kiểm tra.** Hãy chuẩn hóa trước khi so sánh output của model với văn bản nguồn, chẳng hạn khi kiểm tra một thực thể được trích xuất có thực sự xuất hiện trong tài liệu hay không.

## Trên BroadNet Inference

Tài liệu tham khảo API của BroadNet không nói input có được chuẩn hóa phía server hay không, nên hãy tự chuẩn hóa trong code trước khi gửi, đánh chỉ mục hoặc so sánh văn bản. Với tài liệu tiếng Ả Rập, [bài OCR bằng vision LLM](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/) và [hướng dẫn đọc hóa đơn tiếng Ả Rập](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/) trình bày cách đọc trang dưới dạng ảnh bằng các model như [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/), giúp tránh lớp văn bản PDF bị hỏng. Hãy chạy NFKC trên mọi văn bản trả về trước khi so khớp.

## Lỗi thường gặp

-   Lưu văn bản NFKC để hiển thị; hãy giữ bản gốc NFC.
-   Chuẩn hóa tài liệu nhưng không chuẩn hóa truy vấn.
-   Cho rằng chuẩn hóa sẽ xóa dấu phụ, tatweel hoặc mark bidi. Nó không làm vậy.

## Câu hỏi thường gặp

### Nên dùng NFC hay NFKC?

NFC để lưu trữ và hiển thị, vì nó không làm thay đổi hình thức. NFKC cho khóa tìm kiếm và so khớp, nơi bạn muốn gộp chữ ghép và dạng trình bày. MDN lưu ý các dạng tương thích làm thay đổi hình thức hiển thị.

### Chuẩn hóa Unicode có xóa dấu phụ tiếng Ả Rập không?

Không. Dấu phụ là các ký tự riêng và vẫn được giữ lại. Xóa chúng là một bước riêng của chuẩn hóa văn bản tiếng Ả Rập.

### Chuẩn hóa có xóa mark bidi vô hình hoặc ký tự zero-width không?

Không xóa các ký tự điều khiển bidi như U+200F hay U+2067; chúng đi qua NFC và NFKC mà không đổi. Hãy xóa riêng nếu chúng làm hỏng việc so khớp.

## Xem thêm

-   [Chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-text-normalization/) (thuật ngữ)
-   [Hamza (chữ hamza trong tiếng Ả Rập)](https://broadrouter.com/vi/glossary/hamza/) (thuật ngữ)
-   [Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/) (thuật ngữ)
-   [Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/) (thuật ngữ)
-   [Văn bản RTL (viết từ phải sang trái, right-to-left)](https://broadrouter.com/vi/glossary/rtl-text/) (thuật ngữ)
-   [Token](https://broadrouter.com/vi/glossary/token/) (thuật ngữ)
-   [Đọc hóa đơn và biên lai tiếng Ả Rập bằng model thị giác](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/) (hướng dẫn)
-   [Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm và RAG: đổi gì, giữ gì](https://broadrouter.com/vi/blog/arabic-text-normalization-search/) (bài viết)
-   [OCR tiếng Ả Rập hay vision LLM: đọc tài liệu và hóa đơn tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/) (bài viết)
-   [Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-unicode-normalization&utm_content=page-cta) ·

**Nguồn**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (kiểm tra ngày 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (kiểm tra ngày 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Tài liệu Python, unicodedata (normalize, is\_normalized) (kiểm tra ngày 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, Chương 9 Middle East-I, chữ Ả Rập (dạng trình bày) (kiểm tra ngày 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Mã nguồn CAMeL Tools, normalize.py (normalize\_unicode) (kiểm tra ngày 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
