Чтобы генерация с дополненным поиском (RAG) работала на арабском, нормализуйте документы и запросы по одним и тем же правилам написания, делите текст на чанки по абзацам, ищите одновременно арабским анализатором ключевых слов и мультиязычной моделью эмбеддингов, а LLM пусть отвечает только по найденным фрагментам со ссылками на них.
Схема из исходной статьи о RAG — сначала найти, потом сгенерировать. Большинство сбоев арабского RAG происходит в первой половине. Пользователь вводит «الفاتوره», а в индексе лежит «الفاتورة»; в регламенте написано «إلغاء», а пользователь пишет «الغاء»; модель эмбеддингов обучалась в основном на английском. Исправьте поиск — и часть с LLM, как правило, наладится сама.
Как выглядит конвейер арабского RAG?
- Извлечение текста из PDF, веб-страниц и статей справочного центра. Про сканированные арабские PDF читайте в статье Арабское OCR и vision-LLM.
- Нормализация копии текста для индексации.
- Чанкинг по структуре: заголовкам и абзацам.
- Индексация дважды: индекс по ключевым словам и векторный индекс.
- Поиск по нормализованному запросу в обоих индексах, слияние и переранжирование.
- Генерация ответа по лучшим фрагментам со ссылками на них.
Как нормализовать арабский текст для поиска?
Арабский допускает несколько написаний одного и того же слова, а пользователи редко последовательно ставят огласовки или хамзу. Нормализуйте индексируемую копию и каждый запрос одной и той же функцией:
| Правило | Символы | Зачем |
|---|---|---|
| Унификация алифа | أ إ آ ٱ → ا | Хамзу при наборе часто пропускают |
| Алиф максура | ى → ي | Часто встречается в египетском наборе и вольном написании |
| Та марбута | ة → ه | Пользователи пишут ه в конце слова |
| Удаление огласовок | от U+064B до U+0652, U+0670 | Большинство текстов и запросов пишутся без огласовок |
| Удаление татвиля | ـ (U+0640) | Декоративное растягивание |
| Цифры | ٠–٩ → 0–9 | Совпадение чисел в любой форме |
Попробуйте каждое правило на своём тексте в нормализаторе арабского текста — он заодно напишет соответствующую функцию на Python.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Кодовые точки есть в таблице Unicode для арабского письма. Две оговорки:
- Никогда не показывайте нормализованный текст. Храните рядом оригинал и именно его показывайте, цитируйте и отправляйте в LLM. Читателю нормализованный арабский кажется написанным с ошибками.
- Некоторые слияния теряют смысл. ة → ه сливает несколько пар слов, а ى → ي сливает «على» (на) с «علي» (Али). Ради полноты поиска такой компромисс обычно оправдан; проверьте его на своих запросах.
Те же правила лежат в основе измерения точности распознавания арабской речи, так что одну функцию можно использовать во всём стеке.
Как делить арабские документы на чанки?
- Делите по структуре. Заголовки, нумерованные статьи в договорах (المادة ١، المادة ٢) и абзацы — естественные границы.
- Несколько сотен слов на чанк с перекрытием в одно-два предложения. Арабские слова несут больше морфем, чем английские, поэтому чанк вмещает больше смысла на слово, чем подсказывает его длина.
- Границы предложений: делите по . ؟ ! и арабской запятой ، только в крайнем случае. Многие арабские тексты состоят из длинных предложений, соединённых союзом و, поэтому деление по абзацам надёжнее.
- Передавайте контекст. Добавляйте в начало каждого чанка название документа и заголовок раздела на арабском, чтобы чанк со словами «تُطبَّق هذه الرسوم» (эти сборы применяются) по-прежнему говорил, о каких сборах речь.
Калькулятор чанкинга для RAG переводит размер чанка, перекрытие и top-k в число чанков, токены на запрос и месячную стоимость.
Зачем сочетать поиск по ключевым словам и эмбеддинги?
Поиск по ключевым словам
Арабская морфология ломает наивное сопоставление ключевых слов: كتاب, الكتاب, بالكتاب, وكتابه и كتب связаны со словом «книга». Используйте анализатор, который умеет работать с арабским. В Elasticsearch есть анализатор арабского языка, который последовательно применяет арабские стоп-слова, нормализацию цифр, арабскую нормализацию и арабский стеммер, так что формы с приставками вроде الكتاب и وكتاب совпадают чаще. Прежде чем на него полагаться, проверьте, что именно он сливает в вашей лексике.
Эмбеддинги
Модели эмбеддингов переводят текст в векторы так, что близкие по смыслу фрагменты оказываются рядом, даже если у них нет общих слов. Для арабского выбирайте мультиязычную модель и проверяйте её:
- Предпочитайте модели, обученные на многих языках, например BGE M3: её авторы пишут, что она поддерживает более 100 рабочих языков. Модели только для английского дают плохие векторы для арабского.
- Проверьте межъязыковой поиск, если пользователи спрашивают по-английски об арабских документах или наоборот.
- Эмбеддинги можно строить по оригиналу или по нормализованному тексту, но одинаково для документов и запросов. Проверьте оба варианта: результаты зависят от модели.
BroadNet Inference не предоставляет эндпоинт эмбеддингов: её задокументированные эндпоинты — chat completions и транскрибация аудио. Используйте провайдера эмбеддингов, которому доверяете, или разместите открытую мультиязычную модель эмбеддингов вместе с векторной базой данных, а BroadNet используйте для генерации. Калькулятор стоимости эмбеддингов считает цену индексации и запросов у разных провайдеров.
Слияние и переранжирование
Запустите оба поиска, объедините результаты методом reciprocal rank fusion (оценка документа — сумма 1 / (k + ранг) по всем спискам) и оставьте 10–30 лучших фрагментов. Реранкер или быстрая проверка релевантности с помощью LLM сократит список ещё сильнее, но с моделями с длинным контекстом этот шаг часто можно пропустить.
Как генерировать ответы со ссылками?
Передайте модели фрагменты с идентификаторами и попросите отвечать только по ним:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
Арабский системный промпт говорит: “Answer the user’s question in simple Modern Standard Arabic, based only on the attached passages. Cite the passage number in square brackets after each fact. If you cannot find the answer in the passages, say so clearly.” (перевод: «Ответь на вопрос пользователя на простом современном литературном арабском, опираясь только на приложенные фрагменты. После каждого факта указывай номер фрагмента в квадратных скобках. Если ответа во фрагментах нет, прямо так и скажи».) Инструкции на английском работают не хуже; важно само правило — отвечать только по фрагментам и ссылаться на них.
Ставьте фрагменты перед вопросом. Если одни и те же документы встречаются во многих запросах, держите их в одном порядке в начале промпта, чтобы применялась цена входа из кэша; см. статью о кэшированных входных токенах.
Какую модель выбрать?
| Модель | Контекст | Почему |
|---|---|---|
| DeepSeek V4.1 Flash | 1 048 576 | Самая низкая из этих трёх цена входа из кэша на BroadNet ($0.0055 за 1 млн токенов), место для множества фрагментов, есть тарифы с фиксированной ценой |
| GLM 5.3 | 1 048 576 | Инструменты и структурированный вывод для агентного поиска |
| Qwen3.8 27B | 262 144 | BroadNet тестировала её на арабском: беглое письмо, понимание диалектов Залива и египетского |
С контекстом в миллион токенов можно извлекать с запасом, скажем 50 фрагментов вместо 5, и дать модели выбрать. Это смягчает ущерб, когда поиск ставит нужный фрагмент на 12-е место. Для небольших наборов документов поиск может быть вовсе не нужен; см. длинный контекст или RAG и проверьте, помещается ли ваш корпус, в калькуляторе контекстного окна. Цены на все модели — на странице цен.
Как оценивать арабский RAG?
- Напишите 50–100 реальных вопросов в той смеси MSA, диалекта и английского, которую на самом деле используют ваши пользователи.
- Отметьте фрагмент, который отвечает на каждый из них.
- Сначала измерьте поиск: попадает ли нужный фрагмент в топ-10? Сравните только ключевые слова, только эмбеддинги и гибрид — с нормализацией и без.
- Затем измерьте ответы: верный, со ссылкой и «не найдено», когда ответа нет.
- Намеренно включите запросы с ошибками и на диалекте. Пользователи пишут «وين الفاتوره» (диалекты Залива и Леванта: где счёт), а не «أين الفاتورة».
Исправьте поиск, прежде чем менять модель генерации: если нужный фрагмент так и не попадает в промпт, никакая модель не сможет на него сослаться.

