Две строки могут выглядеть на экране одинаково и всё равно не пройти проверку на равенство. Решение — нормализация Unicode.
Как это работает
UAX #15 определяет четыре формы:
| Форма | Определение |
|---|---|
| NFD | Каноническая декомпозиция |
| NFC | Каноническая декомпозиция, затем каноническая композиция |
| NFKD | Декомпозиция совместимости |
| NFKC | Декомпозиция совместимости, затем каноническая композиция |
Канонически эквивалентные строки, по словам MDN, должны выглядеть и вести себя одинаково. Эквиваленты совместимости “should be treated alike in some — but not necessarily all — applications” (перевод: «следует считать одинаковыми в некоторых, но не обязательно во всех приложениях»), поэтому NFKC и NFKD могут менять внешний вид текста. В JavaScript normalize() по умолчанию использует NFC. В Python есть те же четыре формы в unicodedata.normalize(form, s) и unicodedata.is_normalized для проверки строки.
В арабском встречаются оба вида.
Каноническая эквивалентность. Стандарт Unicode говорит, что أ (U+0623) раскладывается на ا (U+0627) плюс U+0654 HAMZA ABOVE. Текст с некоторых клавиатур или из конвертеров приходит в двухсимвольной форме. NFC собирает его обратно в U+0623, и строки совпадают.
Совместимость. Unicode кодирует арабские формы представления — контекстные начертания букв и лигатуры — в диапазонах U+FB50–U+FDFF и U+FE70–U+FEFE и говорит, что они нужны для совместимости и “should not be used in general interchange” (перевод: «не должны использоваться при обычном обмене данными»). Тем не менее они попадаются в тексте, скопированном из старых PDF, и в выводе некоторых OCR. NFKC их сворачивает:
| Вход | Кодовая точка | После NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (две буквы) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (четыре буквы) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
normalize_unicode в CAMeL Tools по умолчанию применяет NFKC, предварительно заменяя два особых символа — знак риала U+FDFC и лигатуру басмалы U+FDFD — обычными арабскими буквами.
Почему это важно
- Поиск и RAG. Документ, извлечённый из PDF с формами представления, не совпадёт с запросом, набранным на обычной клавиатуре. Применяйте NFKC к обоим до правил нормализации арабского текста, которые рассчитаны на стандартные буквы.
- Число токенов. Формы представления — это другие кодовые точки, чем обычные буквы, поэтому токенизатор может разбить одно и то же видимое слово на разное число токенов. В UTF-8 ﻻ занимает 3 байта, а لا — 4. Если ваш вход приходит из PDF, посчитайте обе версии в счётчике токенов для арабского.
- Проверка. Нормализуйте текст, прежде чем сравнивать вывод модели с исходником, например когда проверяете, что извлечённая сущность действительно есть в документе.
В BroadNet Inference
Справочник API BroadNet не говорит, нормализуется ли вход на сервере, поэтому нормализуйте текст в своём коде, прежде чем отправлять, индексировать или сравнивать его. Для арабских документов статья об OCR с помощью vision-LLM и руководство по арабским счетам описывают чтение страниц как изображений моделями вроде Gemma 4 VL 26B, что позволяет обойти битые текстовые слои PDF. Применяйте NFKC к любому полученному тексту, прежде чем его сопоставлять.
Частые ошибки
- Хранить для отображения текст в NFKC; сохраняйте оригиналы в NFC.
- Нормализовать документы, но не запросы.
- Считать, что нормализация удаляет огласовки, татвиль или метки bidi. Не удаляет.