---
title: "Что такое нормализация арабского текста? Правила для RAG"
description: "Нормализация арабского текста сводит варианты написания (алиф, татвиль, огласовки) к одной форме, чтобы совпадали поиск, RAG и подсчёт WER. Правила и компромиссы."
url: https://broadrouter.com/ru/glossary/arabic-text-normalization/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/arabic-text-normalization/) (обновлён 2026-11-15).

# Нормализация арабского текста (Arabic text normalization)

Обновлено 2026-11-15

Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.

Также называют: нормализация арабского, нормализация алифа, орфографическая нормализация, татвиль, кашида, варианты алифа, Arabic normalization, Arabic text normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Арабоязычные пользователи набирают одно и то же слово по-разному. Нормализация делает эти написания совпадающими.

## Как это работает

Нормализация — это набор замен символов, которые применяются и к хранимому тексту, и к запросам. ArabicNormalizer из Apache Lucene, который используют многие поисковые движки, перечисляет пять правил:

1.  хамза на подставке-алифе заменяется голым алифом;
2.  та марбута (ة) заменяется на ха (ه);
3.  йа без точек, алиф максура (ى), заменяется на йа (ي);
4.  удаляются харакат ([огласовки](https://broadrouter.com/ru/glossary/arabic-diacritics/));
5.  удаляется татвиль, «растягивающий символ».

CAMeL Tools предлагает те же идеи отдельными функциями. Её `normalize_alef_ar` заменяет إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) на ا, `normalize_alef_maksura_ar` заменяет ى на ي, а `normalize_teh_marbuta_ar` — ة на ه. `normalize_unicode` по умолчанию выполняет NFKC, то есть [нормализацию Unicode](https://broadrouter.com/ru/glossary/unicode-normalization/), и её стоит запускать первой.

Татвиль (U+0640, также кашида) — соединительный символ, который стандарт Unicode описывает как средство выключки: вставка его между символами растягивает строку. Смысла он не несёт, поэтому كتـــاب и كتاب должны совпадать.

Пример:

| Ввод | После нормализации | Применённые правила |
| --- | --- | --- |
| إِسْلامٌ | اسلام | огласовки, алиф |
| مدرسة | مدرسه | та марбута |
| مستشفى | مستشفي | алиф максура |
| كتـــاب | كتاب | татвиль |

## Почему это важно

Larkey, Ballesteros и Connell (2002) нормализовали арабскую новостную коллекцию TREC-2001: удалили пунктуацию, огласовки и небуквенные символы и заменили несколько вариантов букв одной формой. Одна только нормализация подняла среднюю точность одноязычного поиска с .194 до .238. Их стеммер light8 поверх неё дал .376.

То же самое касается:

-   **[RAG](https://broadrouter.com/ru/glossary/rag/) и поиска по ключевым словам.** Запрос, набранный без хамзы, должен находить документ, где она есть. См. [поиск для арабского RAG](https://broadrouter.com/ru/blog/arabic-rag-search/).
-   **[Доли ошибок в словах (WER)](https://broadrouter.com/ru/glossary/word-error-rate/).** Оценки арабского распознавания речи зависят от того, нормализованы ли эталоны и транскрипты одинаково. [Разбор WER для арабского](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/) показывает этот эффект.
-   **Дедупликации и аналитики.** Если считать слова или поисковые термины пользователей без нормализации, одно слово распадается на несколько.

Цена — слияние разных слов. Унификация алифа превращает разные частицы إن и أن в одну строку, а правило ة → ه сливает كرة (мяч) с كره (ненависть). Правила для [хамзы](https://broadrouter.com/ru/glossary/hamza/) и [та марбуты](https://broadrouter.com/ru/glossary/taa-marbuta/) считайте настраиваемыми.

## В BroadNet Inference

Нормализация выполняется в вашем коде, а не в API. Эндпоинты BroadNet для чата и транскрибации принимают текст или аудио как есть. Храните две копии: оригинал для модели и пользователя и нормализованный ключ для сопоставления.

Бесплатный [нормализатор арабского текста](https://broadrouter.com/tools/arabic-text-normalizer/) применяет эти правила в браузере, чтобы было видно, что меняет каждое из них. В [руководстве по нормализации](https://broadrouter.com/ru/blog/arabic-text-normalization-search/) есть проверенный код на Python и разбор каждого правила.

## Типичные ошибки

-   Нормализовать документы, но не запросы, или наоборот.
-   Показывать пользователям нормализованный текст или цитировать его.
-   Смешивать библиотеки с разными правилами, например с двумя разными заменами для ى.

## Вопросы и ответы

### Помогает ли нормализация при поиске по эмбеддингам?

Классические результаты получены на поиске по ключевым словам. Для эмбеддингов сравните нормализованный и исходный ввод на своих запросах, прежде чем решать.

### Нужно ли нормализовать текст перед отправкой в LLM?

Обычно нет. Отправляйте оригинал, чтобы модель видела реальное написание, хамзу и огласовки. Нормализуйте только те копии, которые сопоставляете, индексируете или оцениваете.

### Все ли библиотеки применяют одинаковые правила?

Нет. CAMeL Tools и Lucene обе заменяют алиф максуру на йа и та марбуту на ха, но другие библиотеки ведут себя иначе. Выберите один набор правил и применяйте его и к документам, и к запросам.

## См. также

-   [Арабские огласовки (ташкиль, tashkeel)](https://broadrouter.com/ru/glossary/arabic-diacritics/) (термин)
-   [Хамза (hamza)](https://broadrouter.com/ru/glossary/hamza/) (термин)
-   [Та марбута (ة, taa marbuta)](https://broadrouter.com/ru/glossary/taa-marbuta/) (термин)
-   [Нормализация Unicode (Unicode normalization)](https://broadrouter.com/ru/glossary/unicode-normalization/) (термин)
-   [RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/) (термин)
-   [Доля ошибок в словах (word error rate, WER)](https://broadrouter.com/ru/glossary/word-error-rate/) (термин)
-   [Нормализация арабского текста для поиска и RAG: что менять, а что нет](https://broadrouter.com/ru/blog/arabic-text-normalization-search/) (статья)
-   [RAG на арабском: нормализация, чанкинг и поиск, который работает](https://broadrouter.com/ru/blog/arabic-rag-search/) (статья)
-   [WER для арабского: что такое доля ошибок в словах в ASR](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Источники**

-   [Документация CAMeL Tools, camel\_tools.utils.normalize (проверено 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Исходный код CAMeL Tools, normalize.py (правила для алифа, алиф максуры и та марбуты) (проверено 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (проверено 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros и Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (проверено 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, глава 9 Middle East-I, Arabic (татвиль) (проверено 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
