BroadRouter

RAG на арабском: нормализация, чанкинг и поиск, который работает

Команда BroadNet Inference · 6 мин чтения · Опубликовано

RAG на арабском работает, если нормализовать текст перед индексацией (унифицировать формы алифа, йа и алиф максуру, та марбута, удалить огласовки и татвиль), делить на чанки по абзацам, сочетать мультиязычную модель эмбеддингов с поиском по ключевым словам и давать LLM с длинным контекстом отвечать по найденным фрагментам со ссылками. К запросам применяйте ту же нормализацию.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Чтобы генерация с дополненным поиском (RAG) работала на арабском, нормализуйте документы и запросы по одним и тем же правилам написания, делите текст на чанки по абзацам, ищите одновременно арабским анализатором ключевых слов и мультиязычной моделью эмбеддингов, а LLM пусть отвечает только по найденным фрагментам со ссылками на них.

Схема из исходной статьи о RAG — сначала найти, потом сгенерировать. Большинство сбоев арабского RAG происходит в первой половине. Пользователь вводит «الفاتوره», а в индексе лежит «الفاتورة»; в регламенте написано «إلغاء», а пользователь пишет «الغاء»; модель эмбеддингов обучалась в основном на английском. Исправьте поиск — и часть с LLM, как правило, наладится сама.

Как выглядит конвейер арабского RAG?

  1. Извлечение текста из PDF, веб-страниц и статей справочного центра. Про сканированные арабские PDF читайте в статье Арабское OCR и vision-LLM.
  2. Нормализация копии текста для индексации.
  3. Чанкинг по структуре: заголовкам и абзацам.
  4. Индексация дважды: индекс по ключевым словам и векторный индекс.
  5. Поиск по нормализованному запросу в обоих индексах, слияние и переранжирование.
  6. Генерация ответа по лучшим фрагментам со ссылками на них.

Как нормализовать арабский текст для поиска?

Арабский допускает несколько написаний одного и того же слова, а пользователи редко последовательно ставят огласовки или хамзу. Нормализуйте индексируемую копию и каждый запрос одной и той же функцией:

Правило Символы Зачем
Унификация алифа أ إ آ ٱ → ا Хамзу при наборе часто пропускают
Алиф максура ى → ي Часто встречается в египетском наборе и вольном написании
Та марбута ة → ه Пользователи пишут ه в конце слова
Удаление огласовок от U+064B до U+0652, U+0670 Большинство текстов и запросов пишутся без огласовок
Удаление татвиля ـ (U+0640) Декоративное растягивание
Цифры ٠–٩ → 0–9 Совпадение чисел в любой форме

Попробуйте каждое правило на своём тексте в нормализаторе арабского текста — он заодно напишет соответствующую функцию на Python.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

Кодовые точки есть в таблице Unicode для арабского письма. Две оговорки:

  • Никогда не показывайте нормализованный текст. Храните рядом оригинал и именно его показывайте, цитируйте и отправляйте в LLM. Читателю нормализованный арабский кажется написанным с ошибками.
  • Некоторые слияния теряют смысл. ة → ه сливает несколько пар слов, а ى → ي сливает «على» (на) с «علي» (Али). Ради полноты поиска такой компромисс обычно оправдан; проверьте его на своих запросах.

Те же правила лежат в основе измерения точности распознавания арабской речи, так что одну функцию можно использовать во всём стеке.

Как делить арабские документы на чанки?

  • Делите по структуре. Заголовки, нумерованные статьи в договорах (المادة ١، المادة ٢) и абзацы — естественные границы.
  • Несколько сотен слов на чанк с перекрытием в одно-два предложения. Арабские слова несут больше морфем, чем английские, поэтому чанк вмещает больше смысла на слово, чем подсказывает его длина.
  • Границы предложений: делите по . ؟ ! и арабской запятой ، только в крайнем случае. Многие арабские тексты состоят из длинных предложений, соединённых союзом و, поэтому деление по абзацам надёжнее.
  • Передавайте контекст. Добавляйте в начало каждого чанка название документа и заголовок раздела на арабском, чтобы чанк со словами «تُطبَّق هذه الرسوم» (эти сборы применяются) по-прежнему говорил, о каких сборах речь.

Калькулятор чанкинга для RAG переводит размер чанка, перекрытие и top-k в число чанков, токены на запрос и месячную стоимость.

Зачем сочетать поиск по ключевым словам и эмбеддинги?

Поиск по ключевым словам

Арабская морфология ломает наивное сопоставление ключевых слов: كتاب, الكتاب, بالكتاب, وكتابه и كتب связаны со словом «книга». Используйте анализатор, который умеет работать с арабским. В Elasticsearch есть анализатор арабского языка, который последовательно применяет арабские стоп-слова, нормализацию цифр, арабскую нормализацию и арабский стеммер, так что формы с приставками вроде الكتاب и وكتاب совпадают чаще. Прежде чем на него полагаться, проверьте, что именно он сливает в вашей лексике.

Эмбеддинги

Модели эмбеддингов переводят текст в векторы так, что близкие по смыслу фрагменты оказываются рядом, даже если у них нет общих слов. Для арабского выбирайте мультиязычную модель и проверяйте её:

  • Предпочитайте модели, обученные на многих языках, например BGE M3: её авторы пишут, что она поддерживает более 100 рабочих языков. Модели только для английского дают плохие векторы для арабского.
  • Проверьте межъязыковой поиск, если пользователи спрашивают по-английски об арабских документах или наоборот.
  • Эмбеддинги можно строить по оригиналу или по нормализованному тексту, но одинаково для документов и запросов. Проверьте оба варианта: результаты зависят от модели.

BroadNet Inference не предоставляет эндпоинт эмбеддингов: её задокументированные эндпоинты — chat completions и транскрибация аудио. Используйте провайдера эмбеддингов, которому доверяете, или разместите открытую мультиязычную модель эмбеддингов вместе с векторной базой данных, а BroadNet используйте для генерации. Калькулятор стоимости эмбеддингов считает цену индексации и запросов у разных провайдеров.

Слияние и переранжирование

Запустите оба поиска, объедините результаты методом reciprocal rank fusion (оценка документа — сумма 1 / (k + ранг) по всем спискам) и оставьте 10–30 лучших фрагментов. Реранкер или быстрая проверка релевантности с помощью LLM сократит список ещё сильнее, но с моделями с длинным контекстом этот шаг часто можно пропустить.

Как генерировать ответы со ссылками?

Передайте модели фрагменты с идентификаторами и попросите отвечать только по ним:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

Арабский системный промпт говорит: “Answer the user’s question in simple Modern Standard Arabic, based only on the attached passages. Cite the passage number in square brackets after each fact. If you cannot find the answer in the passages, say so clearly.” (перевод: «Ответь на вопрос пользователя на простом современном литературном арабском, опираясь только на приложенные фрагменты. После каждого факта указывай номер фрагмента в квадратных скобках. Если ответа во фрагментах нет, прямо так и скажи».) Инструкции на английском работают не хуже; важно само правило — отвечать только по фрагментам и ссылаться на них.

Ставьте фрагменты перед вопросом. Если одни и те же документы встречаются во многих запросах, держите их в одном порядке в начале промпта, чтобы применялась цена входа из кэша; см. статью о кэшированных входных токенах.

Какую модель выбрать?

Модель Контекст Почему
DeepSeek V4.1 Flash 1 048 576 Самая низкая из этих трёх цена входа из кэша на BroadNet ($0.0055 за 1 млн токенов), место для множества фрагментов, есть тарифы с фиксированной ценой
GLM 5.3 1 048 576 Инструменты и структурированный вывод для агентного поиска
Qwen3.8 27B 262 144 BroadNet тестировала её на арабском: беглое письмо, понимание диалектов Залива и египетского

С контекстом в миллион токенов можно извлекать с запасом, скажем 50 фрагментов вместо 5, и дать модели выбрать. Это смягчает ущерб, когда поиск ставит нужный фрагмент на 12-е место. Для небольших наборов документов поиск может быть вовсе не нужен; см. длинный контекст или RAG и проверьте, помещается ли ваш корпус, в калькуляторе контекстного окна. Цены на все модели — на странице цен.

Как оценивать арабский RAG?

  1. Напишите 50–100 реальных вопросов в той смеси MSA, диалекта и английского, которую на самом деле используют ваши пользователи.
  2. Отметьте фрагмент, который отвечает на каждый из них.
  3. Сначала измерьте поиск: попадает ли нужный фрагмент в топ-10? Сравните только ключевые слова, только эмбеддинги и гибрид — с нормализацией и без.
  4. Затем измерьте ответы: верный, со ссылкой и «не найдено», когда ответа нет.
  5. Намеренно включите запросы с ошибками и на диалекте. Пользователи пишут «وين الفاتوره» (диалекты Залива и Леванта: где счёт), а не «أين الفاتورة».

Исправьте поиск, прежде чем менять модель генерации: если нужный фрагмент так и не попадает в промпт, никакая модель не сможет на него сослаться.

Вопросы и ответы

Есть ли в BroadNet Inference эмбеддинги?

Нет. Её задокументированные эндпоинты — chat completions и транскрибация аудио. Возьмите модель эмбеддингов у другого провайдера или запустите открытую мультиязычную модель эмбеддингов сами, а BroadNet используйте для этапа генерации.

Нужно ли нормализовать та марбута в ха?

Для поиска обычно да, потому что пользователи пишут и так, и так. Это сливает несколько разных слов, но в большинстве корпусов выигрыш в полноте перевешивает. Оригинальный текст сохраняйте для показа и ссылок.

Какого размера делать чанки для арабского текста?

Начните с одного–трёх абзацев, несколько сотен слов, с небольшим перекрытием. Делите по заголовкам и абзацам, а не посреди предложения, и добавляйте к каждому чанку название документа.

Какая модель эмбеддингов подходит для арабского?

Используйте мультиязычную модель и проверьте её на своих арабских запросах. Например, авторы BGE M3 пишут, что она поддерживает поиск более чем на 100 рабочих языках. Модели эмбеддингов только для английского дают плохие векторы для арабского.

Могут ли пользователи искать по-английски и находить арабские документы?

Да, с мультиязычной моделью эмбеддингов, которая отображает оба языка в одно пространство, или если перевести запрос с помощью LLM перед поиском по ключевым словам. Межъязыковые запросы проверяйте отдельно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity