В арабском одно и то же слово можно написать по-разному. Пользователь набирает احمد, а в документе написано أَحْمَد. Поисковый индекс, сравнивающий символы точно, это совпадение пропустит, как и ключевая половина конвейера RAG. Нормализация решает проблему, приводя варианты к одной форме перед сравнением. Если делать её небрежно, она заодно сливает слова с разным смыслом. В этой статье мы идём по правилам одно за другим: что делает каждое, когда его применять, что оно ломает и чем различаются основные библиотеки. В конце — проверенный код на Python.
Полный конвейер RAG для арабского (чанкинг, гибридный поиск, ответы со ссылками) описан в статье арабский RAG, который работает. Здесь мы глубже разбираем шаг нормализации.
Нормализация действительно помогает поиску?
Да, для поиска по ключевым словам, и данные хоть и старые, но однозначные. Larkey, Ballesteros и Connell (SIGIR 2002) тестировали поиск по арабскому на новостной коллекции TREC-2001. Перед стеммингом они нормализовали корпус и запросы: удалили огласовки и пунктуацию, унифицировали формы алифа и заменили конечные ى и ة. Их одноязычные результаты на нерасширенных запросах:
| Обработка | Средняя точность | Изменение относительно сырого текста (по округлённым значениям) |
|---|---|---|
| Сырой текст | 0,194 | — |
| Нормализация | 0,238 | +22,7% |
| Нормализация + лёгкий стемминг (light8) | 0,376 | +93,8% |
Две оговорки. Это поиск по ключевым словам 2002 года на новостях, а не поиск по эмбеддингам. И наибольший выигрыш дал лёгкий стемминг (удаление префиксов вроде و и ال и частых суффиксов) — отдельный от нормализации шаг. ArabicAnalyzer в Lucene и анализатор arabic в Elasticsearch применяют оба: сначала нормализатор, затем лёгкий стеммер.
Что нормализовать и чем платить за каждое правило?
| Правило | Пример | Поисковый индекс | Риск |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Да, всегда первым | Переписывает символы совместимости и в других письменностях |
| Удаление невидимых знаков | zero-width joiner, RLM/LRM, BOM | Да | Для арабского никакого; в персидском ZWNJ важен |
| Удаление ташкиля | أَحْمَدُ → أحمد | Да | Сливает слова, которые различаются только гласными |
| Удаление татвиля (ـ) | الـــمدينة → المدينة | Да | Никакого |
| Единая форма алифа | أ إ آ ٱ → ا | Да | Сливает немногие пары: سأل (спросил) и سال (потёк) |
| Алиф максура | ى → ي | Обычно | Сливает على (на) и علي (Али) |
| Та марбута | ة → ه | Обычно | Сливает كتابة (письмо, написание) и كتابه (его книга) |
| Подставки хамзы | ؤ ئ → ء | По желанию | Сливает مسؤول и مسئول (хорошо), но и некоторые разные слова |
| Персидские буквы | ی → ي, ک → ك | Да, если у пользователей персидская раскладка | Для арабского текста никакого |
| Цифры | ٢٠٢٦ и ۲۰۲۶ → 2026 | Да | Никакого; оригинал сохраняйте для показа |
Первый столбец относится к ключу индекса и запросу. Текст, который вы храните, показываете и передаёте модели, остаётся как написан.
Почему нормализация Unicode должна идти первой?
Одна и та же видимая буква может храниться по-разному. أ может быть одной кодовой точкой (U+0623) или голым алифом с комбинируемой хамзой (U+0627 U+0654). Старые PDF и некоторые раскладки выдают арабские формы представления (U+FB50–U+FEFF), например односимвольный лам-алиф ﻻ. При нормализации Unicode NFC присоединяет хамзу к алифу, а NFKC ещё и распаковывает формы представления и лигатуры. В Python unicodedata.normalize("NFKC", "ﻻ") возвращает لا, а ﷲ превращается в الله.
Выполняйте это раньше всего остального. Иначе регулярное выражение, заменяющее أ, пропустит разложенную форму. Есть и вторая ловушка: dediac_ar в CAMeL Tools удаляет символы из своего AR_DIAC_CHARSET (U+064B–U+0652 и U+0670). В этот набор не входят комбинируемые знаки хамзы и мадды (U+0653–U+0655), поэтому в разложенном тексте они переживают удаление огласовок. NFKC сначала их собирает.
NFKC — это отображение совместимости. Оно меняет и символы вне арабского, например полноширинные латинские буквы. В поисковом ключе обычно так и нужно, и это ещё одна причина хранить оригинал рядом.
Что не нужно нормализовать?
- Текст, который вы показываете, цитируете или на который ссылаетесь. Нормализованный арабский выглядит как текст с ошибками (المدينه). Храните оригинал рядом с ключом.
- То, что вы отправляете в LLM. Модели нормально читают хамзу и ташкиль, а точный текст сохраняет имена и цитаты верными. Удаление ташкиля экономит немного токенов; посчитайте, сколько именно, в счётчике токенов для арабского, прежде чем жертвовать ради этого точностью.
- Текст, где знаки несут смысл: Коран, хадисы, поэзия, детские книги, задачи на произношение и огласовку (см. огласовка через LLM).
- Исправление орфографии и грамматики: нормализация до исправления стирает ошибки в хамзе и та марбуте, которые вы хотите исправить; см. исправление арабской орфографии и грамматики через LLM.
- Идентификаторы. Коды продуктов, e-mail, URL и латинский текст не должны проходить через арабские правила. Применяйте нормализацию только к полям на арабской графике или только к арабским токенам.
- Поля, по которым ищут точно. Для юридических названий или полей вроде идентификаторов индексируйте ещё и сырую копию, чтобы точное совпадение по-прежнему могло стоять первым.
Чем различаются CAMeL Tools, PyArabic и Lucene?
Они реализуют разные правила, и если их смешать, индекс и запросы никогда не совпадут. Мы прочитали документацию и исходный код каждой библиотеки и запустили PyArabic 0.6.15:
| Функция | Что она делает на самом деле |
|---|---|
CAMeL normalize_unicode |
NFKC (или NFC при compatibility=False); также разворачивает ﷼ в ريال и ﷽ в полную фразу |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Удаляет U+064B–U+0652 и U+0670; татвиль оставляет |
PyArabic strip_tashkeel |
Удаляет все харакаты, включая шадду |
PyArabic strip_tatweel |
Удаляет ـ |
PyArabic normalize_alef |
Все формы алифа и ى → ا, так что إلى становится الا |
PyArabic normalize_hamza |
Метод по умолчанию превращает любую форму хамзы в ء, включая أ, так что أحمد становится ءحمد |
Lucene ArabicNormalizer |
Формы алифа с хамзой → ا, ة → ه, ى → ي, удаляет харакаты и татвиль |
Строки PyArabic многих удивляют. В docstring normalize_alef сказано, что алиф максура — исключение, но в 0.6.15 набор ALEFAT включает ى, и функция превращает её в ا. normalize_hamza создана для сопоставления без учёта хамзы, а не для поиска вообще. Важен и порядок: если сначала нормализовать алиф, normalize_hamza затронет только ؤ, ئ и ء, и مسؤول и مسئول оба станут مسءول. Её метод tasheel вместо этого даёт مسوول и مسيول, которые друг с другом не совпадают.
Фильтр arabic_normalization в Elasticsearch использует нормализатор Lucene, поэтому конвейер на Python, который должен совпадать с индексом Elasticsearch, должен точно копировать правила Lucene. То есть ى → ي, а не ى → ا.
Как выглядит проверенный нормализатор?
Эта функция следует решениям Lucene, добавляет обработку Unicode, цифр и персидских букв и делает рискованные правила переключаемыми. Она использует только стандартную библиотеку.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Что она вернула на наших тестовых строках:
| Вход | Выход | Примечание |
|---|---|---|
| أَحْمَدُ | احمد | Ташкиль и хамза убраны |
| الـــمدينة | المدينه | Татвиль и та марбута |
| إلى | الي | Алиф и алиф максура |
| ا + U+0654 + مل | امل | Разложенная хамза собрана, затем унифицирована |
| ﻻبد | لابد | Форма представления распакована |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Арабско-индийские и персидские цифры |
| مسؤول / مسئول | Оба مسءول при hamza_seats=True |
По умолчанию без изменений |
| فارسی | فارسي | Персидская йа |
Используйте её в двух местах: при построении ключа индекса и при чтении запроса. Храните original и normalize(original) рядом, ищите по второму, возвращайте первое. Бесплатный нормализатор арабского текста позволяет вставить текст и увидеть действие каждого правила, прежде чем выбрать настройки.
Как нормализация сочетается с эмбеддингами и RAG?
В конвейере RAG обычно два ретривера: поиск по ключевым словам (BM25) и эмбеддинги. Ключевой стороне нормализация явно помогает. К стороне эмбеддингов данные выше не относятся: модели эмбеддингов обучены на сыром тексте, и многие уже помещают احمد и أحمد рядом. Нормализация перед эмбеддингом может помочь, ничего не изменить или навредить. Соберите от 50 до 100 реальных запросов с известными ответами, прогоните их с сырым и нормализованным вводом и оставьте вариант с лучшей полнотой. Что бы вы ни выбрали, применяйте это одинаково к документам и запросам.
Нормализация ещё и немного снижает число токенов, потому что огласовки и татвиль для токенизатора — лишние символы. Измеренные соотношения — в датасете эффективности токенизаторов и статье токены на слово в арабском. Та же нормализация нужна для честной оценки распознавания речи; см. WER для арабского простыми словами.
Арабизи (арабский латиницей) требует совсем другого подхода: как LLM работают с арабизи.
Где здесь BroadNet Inference
Нормализация выполняется в вашем собственном коде, API для неё не нужен. BroadNet Inference вступает в дело после поиска. Эмбеддинги она не продаёт, поэтому сочетайте ретривер и провайдера эмбеддингов на свой выбор с чат-моделью BroadNet для шага ответа. GLM 5.3 и DeepSeek V4.1 Flash принимают контекст в 1 048 576 токенов, так что можно передать много найденных фрагментов в исходном, ненормализованном арабском. О выборе модели по качеству арабского — в статье выбор LLM для арабского. Если нужен только поиск по ключевым словам, встроенного анализатора arabic в Elasticsearch может оказаться достаточно.
