---
title: "什么是 Unicode 规范化？大模型文本的 NFC 与 NFKC | BroadRouter"
description: "Unicode 规范化（NFC、NFD、NFKC、NFKD）让等价的字符串使用相同的码位。该用哪种形式，以及为什么 NFKC 对阿拉伯语 PDF 和 OCR 文本很重要。"
url: https://broadrouter.com/zh/glossary/unicode-normalization/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/unicode-normalization/) (2026-11-15 更新).

# Unicode 规范化（Unicode normalization）

更新于 2026-11-15

Unicode 规范化把文本转换成标准形式，让看起来相同的字符串使用相同的码位。共有 NFD、NFC、NFKD 和 NFKC 四种形式；带 K 的形式还会把兼容字符（如阿拉伯语表现形式和连字）折叠成普通字母。

又称： Unicode 标准化、Unicode 正规化、字符规范化、规范化形式、NFC、NFKC、NFD、NFKD、Unicode normalization

两个字符串在屏幕上看起来一模一样，相等比较却可能失败。Unicode 规范化就是解决办法。

## 工作原理

UAX #15 定义了四种形式：

| 形式 | 定义 |
| --- | --- |
| NFD | 标准分解 |
| NFC | 标准分解，再标准组合 |
| NFKD | 兼容分解 |
| NFKC | 兼容分解，再标准组合 |

用 MDN 的话说，标准等价的字符应当在外观和行为上都相同。兼容等价的字符则 “should be treated alike in some — but not necessarily all — applications”（译文：应在某些、但不一定是所有应用中被同等对待），所以 NFKC 和 NFKD 可能改变文本的外观。JavaScript 的 `normalize()` 默认使用 NFC。Python 在 `unicodedata.normalize(form, s)` 中提供同样的四种形式，并用 `unicodedata.is_normalized` 检查字符串。

阿拉伯语两种情况都有。

**标准等价。** Unicode 标准说，أ（U+0623）分解为 ا（U+0627）加 U+0654 HAMZA ABOVE。来自某些键盘或转换工具的文本，会以这种两个字符的形式出现。NFC 会把它重新组合成 U+0623，于是就能匹配了。

**兼容等价。** Unicode 在 U+FB50 到 U+FDFF 以及 U+FE70 到 U+FEFE 中编码了阿拉伯语表现形式，也就是按上下文变化的字母字形和连字，并说明它们用于兼容，“should not be used in general interchange”（译文：不应用于一般的数据交换）。但它们仍会出现在从旧 PDF 复制的文本和某些 OCR 输出里。NFKC 会把它们折叠：

| 输入 | 码位 | NFKC 之后 |
| --- | --- | --- |
| ﻻ | U+FEFB，LAM WITH ALEF ISOLATED FORM | لا（两个字母） |
| ﷲ | U+FDF2，ALLAH ISOLATED FORM | الله（四个字母） |
| ﺍ | U+FE8D，ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

CAMeL Tools 的 `normalize_unicode` 默认应用 NFKC，在此之前先把两个特殊字符，即里亚尔符号 U+FDFC 和 Basmala 连字 U+FDFD，映射为普通阿拉伯字母。

## 为什么重要

-   **搜索与 RAG。** 从带表现形式的 PDF 中提取的文档，无法匹配用普通键盘输入的查询。请先对两边都做 NFKC，再应用[阿拉伯语文本规范化](https://broadrouter.com/zh/glossary/arabic-text-normalization/)规则，因为这些规则默认输入是标准字母。
-   **Token 数。** 表现形式与普通字母是不同的码位，所以[分词器](https://broadrouter.com/zh/glossary/tokenizer/)可能把同一个看得见的词切成不同数量的 token。在 UTF-8 中，ﻻ 占 3 字节，لا 占 4 字节。如果你的输入来自 PDF，请在[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)里把两个版本都数一下。
-   **校验。** 把模型输出与原文比较之前要先规范化，例如在检查抽取出的实体是否真的出现在文档中时。

## 在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明服务器端是否会规范化输入，所以请在发送、建索引或比较文本之前，在自己的代码里完成规范化。对于阿拉伯语文档，[用视觉大模型做 OCR](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/) 一文和[阿拉伯语发票指南](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)介绍了如何用 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 等模型把页面当作图片来读取，从而避开损坏的 PDF 文本层。对返回的文本，先做 NFKC 再进行匹配。

## 常见错误

-   把 NFKC 文本存起来用于显示；应保留 NFC 原文。
-   只规范化文档，不规范化查询。
-   以为规范化会去掉变音符号、tatweel（延长线）或 bidi 标记。它不会。

## 常见问题

### 该用 NFC 还是 NFKC？

存储和显示文本用 NFC，因为它不改变外观。搜索键和匹配用 NFKC，这时折叠连字和表现形式正是你想要的。MDN 提醒，兼容形式会改变视觉外观。

### Unicode 规范化会去掉阿拉伯语的变音符号吗？

不会。变音符号是独立的字符，会被保留。去掉它们是阿拉伯语文本规范化中单独的一步。

### 规范化会去掉不可见的 bidi 标记或零宽字符吗？

U+200F、U+2067 这类 bidi 控制字符不会被去掉；它们会原样通过 NFC 和 NFKC。如果它们破坏了匹配，请单独删除。

## 另请参阅

-   [阿拉伯语文本规范化（Arabic text normalization）](https://broadrouter.com/zh/glossary/arabic-text-normalization/) (术语)
-   [海姆宰（hamza）](https://broadrouter.com/zh/glossary/hamza/) (术语)
-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/) (术语)
-   [光学字符识别（OCR）](https://broadrouter.com/zh/glossary/ocr/) (术语)
-   [从右到左（RTL）文本](https://broadrouter.com/zh/glossary/rtl-text/) (术语)
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/) (术语)
-   [用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/) (指南)
-   [面向搜索和 RAG 的阿拉伯语文本规范化：该改什么，不该改什么](https://broadrouter.com/zh/blog/arabic-text-normalization-search/) (文章)
-   [阿拉伯语 OCR 与视觉大模型：识别阿拉伯语文档和发票](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/) (文章)
-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-unicode-normalization&utm_content=page-cta) ·

**来源**

-   [Unicode 标准附件 #15，Unicode 规范化形式（Unicode 18.0）（2026-11-15 查阅）](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs，String.prototype.normalize()（2026-11-15 查阅）](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python 文档，unicodedata（normalize、is\_normalized）（2026-11-15 查阅）](https://docs.python.org/3/library/unicodedata.html)
-   [Unicode 标准 18.0，第 9 章 中东 I，阿拉伯文（表现形式）（2026-11-15 查阅）](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [CAMeL Tools 源码，normalize.py（normalize\_unicode）（2026-11-15 查阅）](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
