---
title: "RAG на арабском: нормализация, чанки и эмбеддинги | BroadRouter"
description: "RAG по арабским документам: нормализуйте алиф, йа и та марбута, разумно делите текст на чанки, берите мультиязычные эмбеддинги и добавьте поиск по словам."
url: https://broadrouter.com/ru/blog/arabic-rag-search/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/arabic-rag-search/) (обновлён 2026-11-14).

# RAG на арабском: нормализация, чанкинг и поиск, который работает

Команда BroadNet Inference · 6 мин чтения · Опубликовано 2026-11-14

RAG на арабском работает, если нормализовать текст перед индексацией (унифицировать формы алифа, йа и алиф максуру, та марбута, удалить огласовки и татвиль), делить на чанки по абзацам, сочетать мультиязычную модель эмбеддингов с поиском по ключевым словам и давать LLM с длинным контекстом отвечать по найденным фрагментам со ссылками. К запросам применяйте ту же нормализацию.

## Главное

-   Нормализуйте документы и запросы одинаково: أ/إ/آ в ا, ى в ي, ة в ه, без огласовок и без татвиля.
-   Оригинальный текст храните для показа, индексируйте нормализованную копию.
-   Сочетайте поиск по ключевым словам с арабским анализатором и мультиязычные эмбеддинги, затем сравните гибридный поиск с каждым методом по отдельности на своих запросах.
-   Выберите мультиязычную модель эмбеддингов, которую вы проверили на арабских запросах. BroadNet Inference не предоставляет эндпоинт эмбеддингов.
-   Модели с длинным контекстом позволяют извлекать с запасом: DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов.

**На этой странице**

1.  Как выглядит конвейер арабского RAG?
2.  Как нормализовать арабский текст для поиска?
3.  Как делить арабские документы на чанки?
4.  Зачем сочетать поиск по ключевым словам и эмбеддинги?
5.  Как генерировать ответы со ссылками?
6.  Как оценивать арабский RAG?

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

Чтобы [генерация с дополненным поиском](https://broadrouter.com/ru/glossary/rag/) (RAG) работала на арабском, нормализуйте документы и запросы по одним и тем же правилам написания, делите текст на чанки по абзацам, ищите одновременно арабским анализатором ключевых слов и мультиязычной моделью эмбеддингов, а LLM пусть отвечает только по найденным фрагментам со ссылками на них.

Схема из [исходной статьи о RAG](https://arxiv.org/abs/2005.11401) — сначала найти, потом сгенерировать. Большинство сбоев арабского RAG происходит в первой половине. Пользователь вводит «الفاتوره», а в индексе лежит «الفاتورة»; в регламенте написано «إلغاء», а пользователь пишет «الغاء»; модель эмбеддингов обучалась в основном на английском. Исправьте поиск — и часть с LLM, как правило, наладится сама.

## Как выглядит конвейер арабского RAG?

1.  **Извлечение** текста из PDF, веб-страниц и статей справочного центра. Про сканированные арабские PDF читайте в статье [Арабское OCR и vision-LLM](https://broadrouter.com/ru/blog/arabic-ocr-vision-llm/).
2.  **Нормализация** копии текста для индексации.
3.  **Чанкинг** по структуре: заголовкам и абзацам.
4.  **Индексация** дважды: индекс по ключевым словам и векторный индекс.
5.  **Поиск** по нормализованному запросу в обоих индексах, слияние и переранжирование.
6.  **Генерация** ответа по лучшим фрагментам со ссылками на них.

## Как нормализовать арабский текст для поиска?

Арабский допускает несколько написаний одного и того же слова, а пользователи редко последовательно ставят огласовки или хамзу. Нормализуйте индексируемую копию и каждый запрос одной и той же функцией:

| Правило | Символы | Зачем |
| --- | --- | --- |
| Унификация алифа | أ إ آ ٱ → ا | Хамзу при наборе часто пропускают |
| Алиф максура | ى → ي | Часто встречается в египетском наборе и вольном написании |
| Та марбута | ة → ه | Пользователи пишут ه в конце слова |
| Удаление огласовок | от U+064B до U+0652, U+0670 | Большинство текстов и запросов пишутся без огласовок |
| Удаление татвиля | ـ (U+0640) | Декоративное растягивание |
| Цифры | ٠–٩ → 0–9 | Совпадение чисел в любой форме |

Попробуйте каждое правило на своём тексте в [нормализаторе арабского текста](https://broadrouter.com/tools/arabic-text-normalizer/) — он заодно напишет соответствующую функцию на Python.

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

Кодовые точки есть в [таблице Unicode для арабского письма](https://www.unicode.org/charts/PDF/U0600.pdf). Две оговорки:

-   **Никогда не показывайте нормализованный текст.** Храните рядом оригинал и именно его показывайте, цитируйте и отправляйте в LLM. Читателю нормализованный арабский кажется написанным с ошибками.
-   **Некоторые слияния теряют смысл.** ة → ه сливает несколько пар слов, а ى → ي сливает «على» (на) с «علي» (Али). Ради полноты поиска такой компромисс обычно оправдан; проверьте его на своих запросах.

Те же правила лежат в основе [измерения точности распознавания арабской речи](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/), так что одну функцию можно использовать во всём стеке.

## Как делить арабские документы на чанки?

-   **Делите по структуре.** Заголовки, нумерованные статьи в договорах (المادة ١، المادة ٢) и абзацы — естественные границы.
-   **Несколько сотен слов на чанк** с перекрытием в одно-два предложения. Арабские слова несут больше морфем, чем английские, поэтому чанк вмещает больше смысла на слово, чем подсказывает его длина.
-   **Границы предложений:** делите по . ؟ ! и арабской запятой ، только в крайнем случае. Многие арабские тексты состоят из длинных предложений, соединённых союзом و, поэтому деление по абзацам надёжнее.
-   **Передавайте контекст.** Добавляйте в начало каждого чанка название документа и заголовок раздела на арабском, чтобы чанк со словами «تُطبَّق هذه الرسوم» (эти сборы применяются) по-прежнему говорил, о каких сборах речь.

[Калькулятор чанкинга для RAG](https://broadrouter.com/tools/rag-chunking-calculator/) переводит размер чанка, перекрытие и top-k в число чанков, токены на запрос и месячную стоимость.

## Зачем сочетать поиск по ключевым словам и эмбеддинги?

### Поиск по ключевым словам

Арабская морфология ломает наивное сопоставление ключевых слов: كتاب, الكتاب, بالكتاب, وكتابه и كتب связаны со словом «книга». Используйте анализатор, который умеет работать с арабским. В Elasticsearch есть [анализатор арабского языка](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html), который последовательно применяет арабские стоп-слова, нормализацию цифр, арабскую нормализацию и арабский стеммер, так что формы с приставками вроде الكتاب и وكتاب совпадают чаще. Прежде чем на него полагаться, проверьте, что именно он сливает в вашей лексике.

### Эмбеддинги

[Модели эмбеддингов](https://broadrouter.com/ru/glossary/embeddings/) переводят текст в векторы так, что близкие по смыслу фрагменты оказываются рядом, даже если у них нет общих слов. Для арабского выбирайте мультиязычную модель и проверяйте её:

-   **Предпочитайте модели, обученные на многих языках,** например [BGE M3](https://arxiv.org/abs/2402.03216): её авторы пишут, что она поддерживает более 100 рабочих языков. Модели только для английского дают плохие векторы для арабского.
-   **Проверьте межъязыковой поиск,** если пользователи спрашивают по-английски об арабских документах или наоборот.
-   **Эмбеддинги можно строить по оригиналу или по нормализованному тексту, но одинаково** для документов и запросов. Проверьте оба варианта: результаты зависят от модели.

BroadNet Inference не предоставляет эндпоинт эмбеддингов: её задокументированные эндпоинты — chat completions и транскрибация аудио. Используйте провайдера эмбеддингов, которому доверяете, или разместите открытую мультиязычную модель эмбеддингов вместе с [векторной базой данных](https://broadrouter.com/ru/glossary/vector-database/), а BroadNet используйте для генерации. [Калькулятор стоимости эмбеддингов](https://broadrouter.com/tools/embedding-cost-calculator/) считает цену индексации и запросов у разных провайдеров.

### Слияние и переранжирование

Запустите оба поиска, объедините результаты методом reciprocal rank fusion (оценка документа — сумма 1 / (k + ранг) по всем спискам) и оставьте 10–30 лучших фрагментов. Реранкер или быстрая проверка релевантности с помощью LLM сократит список ещё сильнее, но с моделями с длинным контекстом этот шаг часто можно пропустить.

## Как генерировать ответы со ссылками?

Передайте модели фрагменты с идентификаторами и попросите отвечать только по ним:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

Арабский системный промпт говорит: “Answer the user’s question in simple Modern Standard Arabic, based only on the attached passages. Cite the passage number in square brackets after each fact. If you cannot find the answer in the passages, say so clearly.” (перевод: «Ответь на вопрос пользователя на простом современном литературном арабском, опираясь только на приложенные фрагменты. После каждого факта указывай номер фрагмента в квадратных скобках. Если ответа во фрагментах нет, прямо так и скажи».) Инструкции на английском работают не хуже; важно само правило — отвечать только по фрагментам и ссылаться на них.

Ставьте фрагменты перед вопросом. Если одни и те же документы встречаются во многих запросах, держите их в одном порядке в начале промпта, чтобы применялась цена входа из кэша; см. статью о [кэшированных входных токенах](https://broadrouter.com/ru/blog/cached-input-tokens-explained/).

### Какую модель выбрать?

| Модель | Контекст | Почему |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) | 1 048 576 | Самая низкая из этих трёх цена входа из кэша на BroadNet ($0.0055 за 1 млн токенов), место для множества фрагментов, есть тарифы с фиксированной ценой |
| [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) | 1 048 576 | Инструменты и структурированный вывод для агентного поиска |
| [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) | 262 144 | BroadNet тестировала её на арабском: беглое письмо, понимание диалектов Залива и египетского |

С контекстом в миллион токенов можно извлекать с запасом, скажем 50 фрагментов вместо 5, и дать модели выбрать. Это смягчает ущерб, когда поиск ставит нужный фрагмент на 12-е место. Для небольших наборов документов поиск может быть вовсе не нужен; см. [длинный контекст или RAG](https://broadrouter.com/ru/blog/long-context-vs-rag/) и проверьте, помещается ли ваш корпус, в [калькуляторе контекстного окна](https://broadrouter.com/tools/context-window-calculator/). Цены на все модели — на [странице цен](https://broadrouter.com/ru/pricing/).

## Как оценивать арабский RAG?

1.  Напишите 50–100 реальных вопросов в той смеси MSA, диалекта и английского, которую на самом деле используют ваши пользователи.
2.  Отметьте фрагмент, который отвечает на каждый из них.
3.  Сначала измерьте поиск: попадает ли нужный фрагмент в топ-10? Сравните только ключевые слова, только эмбеддинги и гибрид — с нормализацией и без.
4.  Затем измерьте ответы: верный, со ссылкой и «не найдено», когда ответа нет.
5.  Намеренно включите запросы с ошибками и на диалекте. Пользователи пишут «وين الفاتوره» (диалекты Залива и Леванта: где счёт), а не «أين الفاتورة».

Исправьте поиск, прежде чем менять модель генерации: если нужный фрагмент так и не попадает в промпт, никакая модель не сможет на него сослаться.

Бесплатные инструменты по теме (на английском)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Чанкинг (chunking) в RAG](https://broadrouter.com/ru/glossary/chunking/)

Чанкинг — это шаг конвейера поиска, на котором документы разбиваются на небольшие фрагменты, чанки, перед векторизацией и индексацией. Размер чанка задаёт, сколько текста в каждом фрагменте, а перекрытие повторяет часть текста между соседними чанками, чтобы мысль, разрезанная границей, не потерялась.

[Эмбеддинги (embeddings)](https://broadrouter.com/ru/glossary/embeddings/)

Эмбеддинги — это списки чисел с плавающей точкой (векторы), которые модель выдаёт для фрагмента текста, изображения или другого входа. Близкие по смыслу входы получают близкие векторы, поэтому расстояние между векторами позволяет ранжировать результаты поиска, группировать документы или находить похожие объекты.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Реранкинг (reranking)](https://broadrouter.com/ru/glossary/reranking/)

Реранкинг — это второй этап поиска, на котором более точная, но медленная модель, обычно кросс-энкодер, оценивает каждую пару из запроса и документа-кандидата, найденного первичным поиском, и переупорядочивает их, чтобы в языковую модель попали только несколько самых релевантных.

[Распознавание речи (speech-to-text)](https://broadrouter.com/ru/glossary/speech-to-text/)

Распознавание речи (speech-to-text, автоматическое распознавание речи, ASR) — это технология, которая превращает устную речь в письменный текст. API распознавания речи принимает аудиофайл или поток и возвращает расшифровку, обычно с оплатой за минуту аудио. Точность измеряют долей ошибок в словах (WER), и она зависит от акцента, диалекта и качества записи.

[Современный стандартный арабский (MSA, фусха)](https://broadrouter.com/ru/glossary/msa/)

Современный стандартный арабский (MSA) — это стандартизированная форма арабского языка для письма, новостей, образования и официальной речи во всём арабском мире. Ни для кого он не родной повседневный язык: люди говорят на региональных диалектах, например египетском или заливском, и переходят на MSA в официальной обстановке.

## Вопросы и ответы

### Есть ли в BroadNet Inference эмбеддинги?

Нет. Её задокументированные эндпоинты — chat completions и транскрибация аудио. Возьмите модель эмбеддингов у другого провайдера или запустите открытую мультиязычную модель эмбеддингов сами, а BroadNet используйте для этапа генерации.

### Нужно ли нормализовать та марбута в ха?

Для поиска обычно да, потому что пользователи пишут и так, и так. Это сливает несколько разных слов, но в большинстве корпусов выигрыш в полноте перевешивает. Оригинальный текст сохраняйте для показа и ссылок.

### Какого размера делать чанки для арабского текста?

Начните с одного–трёх абзацев, несколько сотен слов, с небольшим перекрытием. Делите по заголовкам и абзацам, а не посреди предложения, и добавляйте к каждому чанку название документа.

### Какая модель эмбеддингов подходит для арабского?

Используйте мультиязычную модель и проверьте её на своих арабских запросах. Например, авторы BGE M3 пишут, что она поддерживает поиск более чем на 100 рабочих языках. Модели эмбеддингов только для английского дают плохие векторы для арабского.

### Могут ли пользователи искать по-английски и находить арабские документы?

Да, с мультиязычной моделью эмбеддингов, которая отображает оба языка в одно пространство, или если перевести запрос с помощью LLM перед поиском по ключевым словам. Межъязыковые запросы проверяйте отдельно.

## Читайте также

-   [Длинный контекст или RAG: когда 1 млн токенов заменяет векторную БД](https://broadrouter.com/ru/blog/long-context-vs-rag/)
-   [WER для арабского: что такое доля ошибок в словах в ASR](https://broadrouter.com/ru/blog/arabic-asr-wer-explained/)
-   [Промпт-инжиниринг для арабского: регистр, RTL, цифры и смешанный текст](https://broadrouter.com/ru/blog/arabic-prompt-engineering/)
-   [Как выбрать LLM API для арабского: что проверить](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/)
-   [Огласовки в арабском тексте через LLM: промпт, проверка, DER](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)
-   [Проверка арабской орфографии и грамматики через LLM: руководство](https://broadrouter.com/ru/blog/arabic-grammar-spelling-correction-llm/)
-   [Руководство: LangChain и BroadNet Inference](https://broadrouter.com/ru/guides/langchain-openai-base-url/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-rag-search&utm_content=page-cta) ·

**Источники**

-   [Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401; проверено 2026-11-14)](https://arxiv.org/abs/2005.11401)
-   [Chen et al., M3-Embedding: более 100 рабочих языков (arXiv 2402.03216; проверено 2026-11-14)](https://arxiv.org/abs/2402.03216)
-   [Языковые анализаторы Elasticsearch, фильтры анализатора arabic (проверено 2026-11-14)](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Таблица Unicode для арабского письма, от U+0600 до U+06FF (проверено 2026-11-14)](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [Справочник BroadNet Inference API, доступные эндпоинты (проверено 2026-11-14) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-rag-search&utm_content=sources)
