BroadRouter
Начать

Нормализация Unicode (Unicode normalization)

Обновлено

Нормализация Unicode — это приведение текста к стандартной форме, чтобы одинаково выглядящие строки состояли из одних и тех же кодовых точек. Форм четыре: NFD, NFC, NFKD и NFKC; формы K вдобавок сводят символы совместимости, например арабские формы представления и лигатуры, к обычным буквам.

Также называют: нормализация Unicode, нормализация юникода, юникод-нормализация, формы нормализации, NFC, NFKC, NFD, NFKD, Unicode normalization

Две строки могут выглядеть на экране одинаково и всё равно не пройти проверку на равенство. Решение — нормализация Unicode.

Как это работает

UAX #15 определяет четыре формы:

Форма Определение
NFD Каноническая декомпозиция
NFC Каноническая декомпозиция, затем каноническая композиция
NFKD Декомпозиция совместимости
NFKC Декомпозиция совместимости, затем каноническая композиция

Канонически эквивалентные строки, по словам MDN, должны выглядеть и вести себя одинаково. Эквиваленты совместимости “should be treated alike in some — but not necessarily all — applications” (перевод: «следует считать одинаковыми в некоторых, но не обязательно во всех приложениях»), поэтому NFKC и NFKD могут менять внешний вид текста. В JavaScript normalize() по умолчанию использует NFC. В Python есть те же четыре формы в unicodedata.normalize(form, s) и unicodedata.is_normalized для проверки строки.

В арабском встречаются оба вида.

Каноническая эквивалентность. Стандарт Unicode говорит, что أ (U+0623) раскладывается на ا (U+0627) плюс U+0654 HAMZA ABOVE. Текст с некоторых клавиатур или из конвертеров приходит в двухсимвольной форме. NFC собирает его обратно в U+0623, и строки совпадают.

Совместимость. Unicode кодирует арабские формы представления — контекстные начертания букв и лигатуры — в диапазонах U+FB50–U+FDFF и U+FE70–U+FEFE и говорит, что они нужны для совместимости и “should not be used in general interchange” (перевод: «не должны использоваться при обычном обмене данными»). Тем не менее они попадаются в тексте, скопированном из старых PDF, и в выводе некоторых OCR. NFKC их сворачивает:

Вход Кодовая точка После NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (две буквы)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (четыре буквы)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

normalize_unicode в CAMeL Tools по умолчанию применяет NFKC, предварительно заменяя два особых символа — знак риала U+FDFC и лигатуру басмалы U+FDFD — обычными арабскими буквами.

Почему это важно

  • Поиск и RAG. Документ, извлечённый из PDF с формами представления, не совпадёт с запросом, набранным на обычной клавиатуре. Применяйте NFKC к обоим до правил нормализации арабского текста, которые рассчитаны на стандартные буквы.
  • Число токенов. Формы представления — это другие кодовые точки, чем обычные буквы, поэтому токенизатор может разбить одно и то же видимое слово на разное число токенов. В UTF-8 ﻻ занимает 3 байта, а لا — 4. Если ваш вход приходит из PDF, посчитайте обе версии в счётчике токенов для арабского.
  • Проверка. Нормализуйте текст, прежде чем сравнивать вывод модели с исходником, например когда проверяете, что извлечённая сущность действительно есть в документе.

В BroadNet Inference

Справочник API BroadNet не говорит, нормализуется ли вход на сервере, поэтому нормализуйте текст в своём коде, прежде чем отправлять, индексировать или сравнивать его. Для арабских документов статья об OCR с помощью vision-LLM и руководство по арабским счетам описывают чтение страниц как изображений моделями вроде Gemma 4 VL 26B, что позволяет обойти битые текстовые слои PDF. Применяйте NFKC к любому полученному тексту, прежде чем его сопоставлять.

Частые ошибки

  • Хранить для отображения текст в NFKC; сохраняйте оригиналы в NFC.
  • Нормализовать документы, но не запросы.
  • Считать, что нормализация удаляет огласовки, татвиль или метки bidi. Не удаляет.

Вопросы и ответы

Что выбрать: NFC или NFKC?

NFC — для хранения и отображения текста, потому что она не меняет внешний вид. NFKC — для поисковых ключей и сопоставления, где свёртка лигатур и форм представления как раз нужна. MDN отмечает, что формы совместимости меняют внешний вид текста.

Удаляет ли нормализация Unicode арабские огласовки?

Нет. Огласовки — отдельные символы, и они остаются. Их удаление — отдельный шаг нормализации арабского текста.

Удаляет ли нормализация невидимые метки bidi или символы нулевой ширины?

Управляющие символы bidi, например U+200F или U+2067, — нет: они проходят через NFC и NFKC без изменений. Если они мешают сопоставлению, удаляйте их отдельно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity