---
title: "Что такое нормализация Unicode? NFC и NFKC для текста LLM"
description: "Нормализация Unicode (NFC, NFD, NFKC, NFKD) приводит одинаковые строки к одним кодовым точкам. Какую форму выбрать и почему NFKC важна для арабского из PDF и OCR."
url: https://broadrouter.com/ru/glossary/unicode-normalization/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/unicode-normalization/) (обновлён 2026-11-15).

# Нормализация Unicode (Unicode normalization)

Обновлено 2026-11-15

Нормализация Unicode — это приведение текста к стандартной форме, чтобы одинаково выглядящие строки состояли из одних и тех же кодовых точек. Форм четыре: NFD, NFC, NFKD и NFKC; формы K вдобавок сводят символы совместимости, например арабские формы представления и лигатуры, к обычным буквам.

Также называют: нормализация Unicode, нормализация юникода, юникод-нормализация, формы нормализации, NFC, NFKC, NFD, NFKD, Unicode normalization

Две строки могут выглядеть на экране одинаково и всё равно не пройти проверку на равенство. Решение — нормализация Unicode.

## Как это работает

UAX #15 определяет четыре формы:

| Форма | Определение |
| --- | --- |
| NFD | Каноническая декомпозиция |
| NFC | Каноническая декомпозиция, затем каноническая композиция |
| NFKD | Декомпозиция совместимости |
| NFKC | Декомпозиция совместимости, затем каноническая композиция |

Канонически эквивалентные строки, по словам MDN, должны выглядеть и вести себя одинаково. Эквиваленты совместимости “should be treated alike in some — but not necessarily all — applications” (перевод: «следует считать одинаковыми в некоторых, но не обязательно во всех приложениях»), поэтому NFKC и NFKD могут менять внешний вид текста. В JavaScript `normalize()` по умолчанию использует NFC. В Python есть те же четыре формы в `unicodedata.normalize(form, s)` и `unicodedata.is_normalized` для проверки строки.

В арабском встречаются оба вида.

**Каноническая эквивалентность.** Стандарт Unicode говорит, что أ (U+0623) раскладывается на ا (U+0627) плюс U+0654 HAMZA ABOVE. Текст с некоторых клавиатур или из конвертеров приходит в двухсимвольной форме. NFC собирает его обратно в U+0623, и строки совпадают.

**Совместимость.** Unicode кодирует арабские формы представления — контекстные начертания букв и лигатуры — в диапазонах U+FB50–U+FDFF и U+FE70–U+FEFE и говорит, что они нужны для совместимости и “should not be used in general interchange” (перевод: «не должны использоваться при обычном обмене данными»). Тем не менее они попадаются в тексте, скопированном из старых PDF, и в выводе некоторых OCR. NFKC их сворачивает:

| Вход | Кодовая точка | После NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (две буквы) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (четыре буквы) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

`normalize_unicode` в CAMeL Tools по умолчанию применяет NFKC, предварительно заменяя два особых символа — знак риала U+FDFC и лигатуру басмалы U+FDFD — обычными арабскими буквами.

## Почему это важно

-   **Поиск и RAG.** Документ, извлечённый из PDF с формами представления, не совпадёт с запросом, набранным на обычной клавиатуре. Применяйте NFKC к обоим до правил [нормализации арабского текста](https://broadrouter.com/ru/glossary/arabic-text-normalization/), которые рассчитаны на стандартные буквы.
-   **Число токенов.** Формы представления — это другие кодовые точки, чем обычные буквы, поэтому [токенизатор](https://broadrouter.com/ru/glossary/tokenizer/) может разбить одно и то же видимое слово на разное число токенов. В UTF-8 ﻻ занимает 3 байта, а لا — 4. Если ваш вход приходит из PDF, посчитайте обе версии в [счётчике токенов для арабского](https://broadrouter.com/tools/arabic-token-counter/).
-   **Проверка.** Нормализуйте текст, прежде чем сравнивать вывод модели с исходником, например когда проверяете, что извлечённая сущность действительно есть в документе.

## В BroadNet Inference

Справочник API BroadNet не говорит, нормализуется ли вход на сервере, поэтому нормализуйте текст в своём коде, прежде чем отправлять, индексировать или сравнивать его. Для арабских документов статья [об OCR с помощью vision-LLM](https://broadrouter.com/ru/blog/arabic-ocr-vision-llm/) и [руководство по арабским счетам](https://broadrouter.com/ru/guides/read-arabic-invoices-with-vision/) описывают чтение страниц как изображений моделями вроде [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/), что позволяет обойти битые текстовые слои PDF. Применяйте NFKC к любому полученному тексту, прежде чем его сопоставлять.

## Частые ошибки

-   Хранить для отображения текст в NFKC; сохраняйте оригиналы в NFC.
-   Нормализовать документы, но не запросы.
-   Считать, что нормализация удаляет огласовки, татвиль или метки bidi. Не удаляет.

## Вопросы и ответы

### Что выбрать: NFC или NFKC?

NFC — для хранения и отображения текста, потому что она не меняет внешний вид. NFKC — для поисковых ключей и сопоставления, где свёртка лигатур и форм представления как раз нужна. MDN отмечает, что формы совместимости меняют внешний вид текста.

### Удаляет ли нормализация Unicode арабские огласовки?

Нет. Огласовки — отдельные символы, и они остаются. Их удаление — отдельный шаг нормализации арабского текста.

### Удаляет ли нормализация невидимые метки bidi или символы нулевой ширины?

Управляющие символы bidi, например U+200F или U+2067, — нет: они проходят через NFC и NFKC без изменений. Если они мешают сопоставлению, удаляйте их отдельно.

## См. также

-   [Нормализация арабского текста (Arabic text normalization)](https://broadrouter.com/ru/glossary/arabic-text-normalization/) (термин)
-   [Хамза (hamza)](https://broadrouter.com/ru/glossary/hamza/) (термин)
-   [Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/) (термин)
-   [Оптическое распознавание символов (OCR)](https://broadrouter.com/ru/glossary/ocr/) (термин)
-   [Текст справа налево (RTL, right-to-left)](https://broadrouter.com/ru/glossary/rtl-text/) (термин)
-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Как читать арабские счета и чеки vision-моделью](https://broadrouter.com/ru/guides/read-arabic-invoices-with-vision/) (руководство)
-   [Нормализация арабского текста для поиска и RAG: что менять, а что нет](https://broadrouter.com/ru/blog/arabic-text-normalization-search/) (статья)
-   [OCR арабского или vision-LLM: как читать арабские документы и счета](https://broadrouter.com/ru/blog/arabic-ocr-vision-llm/) (статья)
-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-unicode-normalization&utm_content=page-cta) ·

**Источники**

-   [Unicode Standard Annex #15, формы нормализации Unicode (Unicode 18.0) (проверено 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (проверено 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Документация Python, unicodedata (normalize, is\_normalized) (проверено 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, глава 9 Middle East-I, арабское письмо (формы представления) (проверено 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Исходный код CAMeL Tools, normalize.py (normalize\_unicode) (проверено 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
