Чтобы пересказать арабский текст с помощью LLM, хватит одного запроса. Чтобы получить резюме, которые можно отдавать в продакшен, нужны три решения, которые запрос за вас не примет: на каком регистре писать, какой длины должно быть резюме и как вы поймёте, что оно верное. Эта статья — о письменных текстах: статьях, отчётах, тикетах и длинных цепочках сообщений. Для устных встреч пайплайн протоколов арабских встреч добавляет шаг транскрибации и слияние по разделам.
Что должно быть в промпте для арабской суммаризации?
Большую часть результата определяют пять строк:
- Язык и регистр. «Современный литературный арабский» (الفصحى) или конкретный диалект. Без этого модель, пересказывающая египетский текст или текст Залива, может ответить смесью.
- Диапазон слов. «От 40 до 60 слов». В диапазон попасть проще, чем в точное число.
- Факты как в тексте. Числа, даты и имена копируются из текста, без округления и пересчёта.
- Ничего нового. Никакого фона, которого нет в тексте.
- Форма. Один абзац, три пункта списка или JSON с фиксированными полями.
Инструкции можно писать по-арабски или по-английски; в любом случае явно укажите язык и регистр ответа. Подробнее о регистре, цифрах и тексте со смешанной письменностью — в статье о промпт-инжиниринге для арабского. Вот промпт, который используется в коде ниже:
لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
Как пересказывать диалектный текст?
Большая часть деловых текстов на арабском написана не на MSA: отзывы клиентов, переписки в WhatsApp и посты в соцсетях идут на диалекте, часто вперемешку с английским или арабизи. Помогают три решения:
- По умолчанию пишите резюме на MSA. Он нейтрален для всех регионов, и по нему проще искать. Если резюме возвращается тому же клиенту, наоборот, подстройтесь под его диалект.
- Ключевые цитаты оставляйте дословно. Когда важен тон, например в жалобе, просите одну короткую цитату в исходной формулировке. Пересказ диалекта на MSA может её смягчить.
- Тестируйте на своих диалектах. Понимание диалектов у моделей разное; см. статью о том, как LLM справляются с арабским Залива и египетским.
Открытые данные это тестирование за вас не сделают. Крупные арабские наборы для суммаризации — новости на MSA, и открытого бенчмарка суммаризации для диалектов Залива или египетского мы не нашли.
Как управлять длиной резюме?
Просите в словах и измеряйте в словах. Не доверяйте подсчёту самой модели и не используйте бюджет токенов как единицу: число токенов на арабское слово зависит от модели. Мы измерили новостной абзац из 96 арабских слов официальным токенизатором Qwen3.8 27B — 166 токенов, а его резюме из 58 слов — 114 токенов. С токенизаторами четырёх чат-моделей BroadNet, посчитанными по файлам токенизаторов из счётчика арабских токенов, тот же абзац занял от 166 до 224 токенов. Более крупное измерение — в статье о числе токенов на слово в арабском.
Для большинства задач правильно считать по пробелам: так текст видит читатель. В арабском و, ب, ل и ال пишутся слитно со словом, поэтому резюме из 50 арабских слов несёт больше содержания, чем 50 английских слов. Задавайте диапазон по арабским примерам, которые вам нравятся, а не по английскому ориентиру.
Ещё два правила о длине:
max_tokensне управляет длиной. Он обрывает ответ на полуслове. Ставьте его с большим запасом над размером резюме, особенно у моделей с рассуждениями: в документации BroadNet сказано, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и эти рассуждения входят вmax_tokens. См. руководство о пустых ответах моделей с рассуждениями.- Повторяйте один раз, с числом. «В вашем резюме 17 слов, а я просил от 40 до 60» исправляет больше, чем повтор инструкции.
Как ловить выдуманные детали?
Абстрактивные модели суммаризации выдумывают. Maynez et al. (ACL 2020) нашли “substantial amounts of hallucinated content” (перевод: «значительный объём галлюцинированного содержания») во всех резюме моделей, которые просмотрели их аннотаторы; это было до нынешних LLM, но иммунитета нет ни у одной модели. Дёшево проверить смысл в коде нельзя, а числа — можно: каждое число из резюме должно встречаться в исходнике. Сначала переведите восточноарабские цифры (٠–٩) и персидские цифры (۰–۹) в 0–9, иначе ١٢ и 12 будут выглядеть разными.
import os, re
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
النص:
{text}"""
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))
def words(s: str) -> int:
return len(s.split()) # clitics (و، ال، ب) stay attached: count what readers see
def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
issues = []
n = words(summary)
if not lo <= n <= hi:
issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
extra = numbers(summary) - numbers(source)
if extra:
issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
return issues
def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
for i in range(attempts):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
summary = (r.choices[0].message.content or "").strip()
issues = check(text, summary, lo, hi)
if not issues:
return {"summary": summary, "attempts": i + 1, "issues": []}
messages += [{"role": "assistant", "content": summary},
{"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
return {"summary": summary, "attempts": attempts, "issues": issues} # send to review
Мы проверили это на локальном mock-сервере (без реального вызова API) с синтетической статьёй из 96 слов о городском плане по автобусам. Первый ответ mock-сервера состоял из 17 слов и называл ٣٠٠ автобусов, тогда как в статье было ٢٤٠. check вернула обе проблемы: измеренную длину и «числа, которых нет в тексте: 300». Второй, исправленный ответ прошёл с 58 словами, и функция вернула его с attempts: 2.
Проверка чисел пропускает многое: неверное имя, перевёрнутое решение, утверждение без чисел. Это фильтр, а не вердикт. Для имён используйте проверку спанов из статьи об извлечении именованных сущностей из арабского текста: извлеките сущности из резюме и убедитесь, что каждая есть в исходнике.
Как пересказывать длинные арабские документы?
Если текст помещается в контекстное окно с запасом, отправляйте его целиком. Qwen3.8 27B принимает 262 144 токена на запрос, а GLM 5.3 — 1 048 576, промпт и ответ вместе; Gemma 4 VL 26B — 32 768. Но у длинных входов есть известная слабость: факты из середины длинного контекста модели используют менее надёжно (lost in the middle). Для длинного отчёта пересказывайте каждый раздел, затем пересказывайте резюме разделов и сохраняйте заголовки разделов в финальном промпте. В статье о встречах шаг слияния показан в коде; когда лучше использовать поиск, разобрано в статье длинный контекст или RAG.
Как оценивать арабские резюме?
Используйте три уровня: автоматическую метрику перекрытия, чтобы ловить регрессии, семантическую метрику как второе мнение и людей для окончательного решения.
ROUGE, но с правильным токенизатором. Пакет rouge-score от Google (версия 0.1.2, по-прежнему текущий релиз на PyPI на 16 ноября 2026 г.) приводит текст к нижнему регистру и заменяет пробелом каждый символ вне a–z и 0–9. Арабский исчезает. Мы проверили:
import re
from rouge_score import rouge_scorer
ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"
print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure) # 0.0
class ArabicTokenizer:
"""Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
def __init__(self, strip_prefixes=False):
self.strip = strip_prefixes
def tokenize(self, text):
text = re.sub(r"[ً-ٰٟـ]", "", text)
text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
toks = re.findall(r"\w+", text)
if self.strip: # crude: drop و/ب/ل/ال prefixes on longer words
toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
return toks
for strip in (False, True):
s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3)) # False 0.6, True 0.8
Одни и те же два предложения получают 0, 0,6 или 0,8 только в зависимости от токенизации. Это и есть главный урок: арабская морфология (للنقل против النقل, بإضافة против تضيف) сильно сдвигает ROUGE, поэтому оценка без указания токенизатора ничего не значит. Авторы XL-Sum публикуют многоязычный форк ROUGE со стеммингом для отдельных языков, включая арабский; используйте его или собственный токенизатор и не меняйте его между прогонами, которые сравниваете.
BERTScore сравнивает смысл через эмбеддинги, поэтому терпим к перефразированию. Для языков, кроме английского и китайского, его модель по умолчанию — bert-base-multilingual-cased. Считайте его вторым сигналом, а не заменой чтению.
Люди, с рубрикой. Попросите читателя-арабиста оценить 50–100 резюме по трём вопросам: не пропущено ли что-то важное, нет ли утверждений, которых нет в исходнике, и верен ли регистр. LLM-судья может проводить предварительный отсев на больших объёмах, когда его оценки совпадут с оценками ваших читателей на выборке. Как собрать такой набор, рассказано в статье об оценке LLM перед переходом.
Открытые эталонные данные:
| Датасет | Что содержит | Примечания |
|---|---|---|
| XL-Sum, арабская часть | 46 897 пар «статья BBC Arabic — резюме» (37 519 / 4 689 / 4 689) | CC BY-NC-SA 4.0: только некоммерческие исследования |
| EASC | 153 статьи, к каждой пять экстрактивных резюме, написанных людьми | Маленький; Википедия и две газеты |
| LANS | 8,4 млн статей с резюме из 22 арабских газет, 1999–2019 | Резюме взяты из метаданных сайтов |
Все три — новости на MSA. Ваши тикеты поддержки и отчёты — нет, поэтому решающий тест — выборка ваших собственных текстов, пересказанных человеком.
Какую модель BroadNet выбрать и сколько это стоит?
Для пилота Gemma 4 VL 26B работает на стартовом кредите $5 по цене $0.10 за вход и $0.22 за выход на 1 млн токенов; её окна в 32 768 токенов хватает для большинства отдельных статей. Qwen3.8 27B, которую, по данным BroadNet, тестировали на беглое письмо на арабском и понимание диалектов Залива и египетского, стоит $0.175 за вход и $2.17 за выход после пополнения. GLM 5.3 берите, когда один документ длиннее окна Qwen.
Расчёт для 10 000 статей по 1 000 токенов с резюме по 150 токенов: 10 млн входных токенов и 1,5 млн выходных, то есть на Qwen3.8 27B это 10 × $0.175 плюс 1,5 × $2.17. Прибавьте токены рассуждений, которые тарифицируются как выход, и повторные запросы; измерьте и то и другое на выборке по блоку usage. Если промпт одинаков для всех статей, ставьте его в начало, чтобы он мог тарифицироваться по ставке входа из кэша.
Место BroadNet Inference
BroadRouter — собственный сайт BroadNet. BroadNet Inference выполняет шаг суммаризации через OpenAI-совместимый API, так что код выше работает с OpenAI Python SDK. В её документации сказано, что промпты и ответы не хранятся после запроса. Собственного бенчмарка арабской суммаризации она не публикует, и ничто в этой статье не измеряет качество резюме на её моделях; запустите описанные проверки на своих текстах. Для устной речи сочетайте её с BroadNet Transcribe Arabic, как в статье о протоколах встреч.
