BroadRouter

Нормализация арабского текста для поиска и RAG: что менять, а что нет

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Для поиска и индексов RAG нормализуйте и сохранённую копию, и каждый запрос одинаково: Unicode NFKC, удаление ташкиля и татвиля, единая форма алифа, ى в ي, ة в ه и конвертация цифр. Исходный текст сохраняйте для показа и для LLM. Подставки хамзы и та марбуту считайте настраиваемыми: они повышают полноту, но сливают некоторые разные слова.

В арабском одно и то же слово можно написать по-разному. Пользователь набирает احمد, а в документе написано أَحْمَد. Поисковый индекс, сравнивающий символы точно, это совпадение пропустит, как и ключевая половина конвейера RAG. Нормализация решает проблему, приводя варианты к одной форме перед сравнением. Если делать её небрежно, она заодно сливает слова с разным смыслом. В этой статье мы идём по правилам одно за другим: что делает каждое, когда его применять, что оно ломает и чем различаются основные библиотеки. В конце — проверенный код на Python.

Полный конвейер RAG для арабского (чанкинг, гибридный поиск, ответы со ссылками) описан в статье арабский RAG, который работает. Здесь мы глубже разбираем шаг нормализации.

Нормализация действительно помогает поиску?

Да, для поиска по ключевым словам, и данные хоть и старые, но однозначные. Larkey, Ballesteros и Connell (SIGIR 2002) тестировали поиск по арабскому на новостной коллекции TREC-2001. Перед стеммингом они нормализовали корпус и запросы: удалили огласовки и пунктуацию, унифицировали формы алифа и заменили конечные ى и ة. Их одноязычные результаты на нерасширенных запросах:

Обработка Средняя точность Изменение относительно сырого текста (по округлённым значениям)
Сырой текст 0,194 —
Нормализация 0,238 +22,7%
Нормализация + лёгкий стемминг (light8) 0,376 +93,8%

Две оговорки. Это поиск по ключевым словам 2002 года на новостях, а не поиск по эмбеддингам. И наибольший выигрыш дал лёгкий стемминг (удаление префиксов вроде و и ال и частых суффиксов) — отдельный от нормализации шаг. ArabicAnalyzer в Lucene и анализатор arabic в Elasticsearch применяют оба: сначала нормализатор, затем лёгкий стеммер.

Что нормализовать и чем платить за каждое правило?

Правило Пример Поисковый индекс Риск
Unicode NFKC ﻻ → لا, ا + ٔ → أ Да, всегда первым Переписывает символы совместимости и в других письменностях
Удаление невидимых знаков zero-width joiner, RLM/LRM, BOM Да Для арабского никакого; в персидском ZWNJ важен
Удаление ташкиля أَحْمَدُ → أحمد Да Сливает слова, которые различаются только гласными
Удаление татвиля (ـ) الـــمدينة → المدينة Да Никакого
Единая форма алифа أ إ آ ٱ → ا Да Сливает немногие пары: سأل (спросил) и سال (потёк)
Алиф максура ى → ي Обычно Сливает على (на) и علي (Али)
Та марбута ة → ه Обычно Сливает كتابة (письмо, написание) и كتابه (его книга)
Подставки хамзы ؤ ئ → ء По желанию Сливает مسؤول и مسئول (хорошо), но и некоторые разные слова
Персидские буквы ی → ي, ک → ك Да, если у пользователей персидская раскладка Для арабского текста никакого
Цифры ٢٠٢٦ и ۲۰۲۶ → 2026 Да Никакого; оригинал сохраняйте для показа

Первый столбец относится к ключу индекса и запросу. Текст, который вы храните, показываете и передаёте модели, остаётся как написан.

Почему нормализация Unicode должна идти первой?

Одна и та же видимая буква может храниться по-разному. أ может быть одной кодовой точкой (U+0623) или голым алифом с комбинируемой хамзой (U+0627 U+0654). Старые PDF и некоторые раскладки выдают арабские формы представления (U+FB50–U+FEFF), например односимвольный лам-алиф ﻻ. При нормализации Unicode NFC присоединяет хамзу к алифу, а NFKC ещё и распаковывает формы представления и лигатуры. В Python unicodedata.normalize("NFKC", "ﻻ") возвращает لا, а ﷲ превращается в الله.

Выполняйте это раньше всего остального. Иначе регулярное выражение, заменяющее أ, пропустит разложенную форму. Есть и вторая ловушка: dediac_ar в CAMeL Tools удаляет символы из своего AR_DIAC_CHARSET (U+064B–U+0652 и U+0670). В этот набор не входят комбинируемые знаки хамзы и мадды (U+0653–U+0655), поэтому в разложенном тексте они переживают удаление огласовок. NFKC сначала их собирает.

NFKC — это отображение совместимости. Оно меняет и символы вне арабского, например полноширинные латинские буквы. В поисковом ключе обычно так и нужно, и это ещё одна причина хранить оригинал рядом.

Что не нужно нормализовать?

  • Текст, который вы показываете, цитируете или на который ссылаетесь. Нормализованный арабский выглядит как текст с ошибками (المدينه). Храните оригинал рядом с ключом.
  • То, что вы отправляете в LLM. Модели нормально читают хамзу и ташкиль, а точный текст сохраняет имена и цитаты верными. Удаление ташкиля экономит немного токенов; посчитайте, сколько именно, в счётчике токенов для арабского, прежде чем жертвовать ради этого точностью.
  • Текст, где знаки несут смысл: Коран, хадисы, поэзия, детские книги, задачи на произношение и огласовку (см. огласовка через LLM).
  • Исправление орфографии и грамматики: нормализация до исправления стирает ошибки в хамзе и та марбуте, которые вы хотите исправить; см. исправление арабской орфографии и грамматики через LLM.
  • Идентификаторы. Коды продуктов, e-mail, URL и латинский текст не должны проходить через арабские правила. Применяйте нормализацию только к полям на арабской графике или только к арабским токенам.
  • Поля, по которым ищут точно. Для юридических названий или полей вроде идентификаторов индексируйте ещё и сырую копию, чтобы точное совпадение по-прежнему могло стоять первым.

Чем различаются CAMeL Tools, PyArabic и Lucene?

Они реализуют разные правила, и если их смешать, индекс и запросы никогда не совпадут. Мы прочитали документацию и исходный код каждой библиотеки и запустили PyArabic 0.6.15:

Функция Что она делает на самом деле
CAMeL normalize_unicode NFKC (или NFC при compatibility=False); также разворачивает ﷼ в ريال и ﷽ в полную фразу
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar Удаляет U+064B–U+0652 и U+0670; татвиль оставляет
PyArabic strip_tashkeel Удаляет все харакаты, включая шадду
PyArabic strip_tatweel Удаляет ـ
PyArabic normalize_alef Все формы алифа и ى → ا, так что إلى становится الا
PyArabic normalize_hamza Метод по умолчанию превращает любую форму хамзы в ء, включая أ, так что أحمد становится ءحمد
Lucene ArabicNormalizer Формы алифа с хамзой → ا, ة → ه, ى → ي, удаляет харакаты и татвиль

Строки PyArabic многих удивляют. В docstring normalize_alef сказано, что алиф максура — исключение, но в 0.6.15 набор ALEFAT включает ى, и функция превращает её в ا. normalize_hamza создана для сопоставления без учёта хамзы, а не для поиска вообще. Важен и порядок: если сначала нормализовать алиф, normalize_hamza затронет только ؤ, ئ и ء, и مسؤول и مسئول оба станут مسءول. Её метод tasheel вместо этого даёт مسوول и مسيول, которые друг с другом не совпадают.

Фильтр arabic_normalization в Elasticsearch использует нормализатор Lucene, поэтому конвейер на Python, который должен совпадать с индексом Elasticsearch, должен точно копировать правила Lucene. То есть ى → ي, а не ى → ا.

Как выглядит проверенный нормализатор?

Эта функция следует решениям Lucene, добавляет обработку Unicode, цифр и персидских букв и делает рискованные правила переключаемыми. Она использует только стандартную библиотеку.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Что она вернула на наших тестовых строках:

Вход Выход Примечание
أَحْمَدُ احمد Ташкиль и хамза убраны
الـــمدينة المدينه Татвиль и та марбута
إلى الي Алиф и алиф максура
ا + U+0654 + مل امل Разложенная хамза собрана, затем унифицирована
ﻻبد لابد Форма представления распакована
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Арабско-индийские и персидские цифры
مسؤول / مسئول Оба مسءول при hamza_seats=True По умолчанию без изменений
فارسی فارسي Персидская йа

Используйте её в двух местах: при построении ключа индекса и при чтении запроса. Храните original и normalize(original) рядом, ищите по второму, возвращайте первое. Бесплатный нормализатор арабского текста позволяет вставить текст и увидеть действие каждого правила, прежде чем выбрать настройки.

Как нормализация сочетается с эмбеддингами и RAG?

В конвейере RAG обычно два ретривера: поиск по ключевым словам (BM25) и эмбеддинги. Ключевой стороне нормализация явно помогает. К стороне эмбеддингов данные выше не относятся: модели эмбеддингов обучены на сыром тексте, и многие уже помещают احمد и أحمد рядом. Нормализация перед эмбеддингом может помочь, ничего не изменить или навредить. Соберите от 50 до 100 реальных запросов с известными ответами, прогоните их с сырым и нормализованным вводом и оставьте вариант с лучшей полнотой. Что бы вы ни выбрали, применяйте это одинаково к документам и запросам.

Нормализация ещё и немного снижает число токенов, потому что огласовки и татвиль для токенизатора — лишние символы. Измеренные соотношения — в датасете эффективности токенизаторов и статье токены на слово в арабском. Та же нормализация нужна для честной оценки распознавания речи; см. WER для арабского простыми словами.

Арабизи (арабский латиницей) требует совсем другого подхода: как LLM работают с арабизи.

Где здесь BroadNet Inference

Нормализация выполняется в вашем собственном коде, API для неё не нужен. BroadNet Inference вступает в дело после поиска. Эмбеддинги она не продаёт, поэтому сочетайте ретривер и провайдера эмбеддингов на свой выбор с чат-моделью BroadNet для шага ответа. GLM 5.3 и DeepSeek V4.1 Flash принимают контекст в 1 048 576 токенов, так что можно передать много найденных фрагментов в исходном, ненормализованном арабском. О выборе модели по качеству арабского — в статье выбор LLM для арабского. Если нужен только поиск по ключевым словам, встроенного анализатора arabic в Elasticsearch может оказаться достаточно.

Вопросы и ответы

Нужно ли удалять ташкиль (огласовки) перед индексацией арабского текста?

Для поиска — да: в большинстве запросов и большей части современного текста огласовок нет, и огласованные документы иначе не находились бы. Удаляйте их из ключа индекса и из запроса, сохраняйте исходный текст для показа и оставляйте огласовки для Корана, поэзии или задач на произношение, где они несут смысл.

Нужно ли нормализовать та марбуту (ة) в ха (ه)?

Для поиска обычно да, потому что многие набирают ه в конце слова. Но это сливает некоторые пары, например كتابة (письмо, написание) и كتابه (его книга). Если такие совпадения важны в вашей области, оставьте ة и протестируйте оба варианта.

Что делает нормализация арабского в Elasticsearch?

Фильтр токенов arabic_normalization использует ArabicNormalizer из Lucene: формы алифа с хамзой — в голый алиф, та марбута — в ха, алиф максура — в йа, плюс удаление харакатов и татвиля. Встроенный анализатор arabic добавляет стоп-слова и стеммер, который убирает присоединённые артикли, союзы, предлоги и частые суффиксы.

Помогает ли нормализация арабского поиску по эмбеддингам?

Это не установлено. Измеренный выигрыш получен на поиске по ключевым словам. Модели эмбеддингов учатся на сыром тексте и часто справляются с вариантами написания, поэтому соберите небольшой набор реальных запросов и сравните полноту с нормализацией и без неё, прежде чем принимать решение.

Нужно ли нормализовать арабский текст перед отправкой в LLM?

Как правило, нет. Отправляйте исходный текст, чтобы цитаты, имена и ссылки оставались точными. Удаление ташкиля экономит немного токенов, но делайте это, только если задаче не нужны знаки.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity