Resumir texto em árabe com um LLM leva uma requisição. Conseguir resumos que dá para colocar em produção exige três decisões que a requisição não toma por você: em que registro escrever, qual o tamanho do resumo e como você vai saber que está certo. Este post trata de texto escrito: artigos, relatórios, tickets e longas conversas de mensagens. Para reuniões faladas, o pipeline de atas de reunião em árabe acrescenta a etapa de transcrição e a junção seção por seção.
O que um prompt de resumo em árabe deve dizer?
Cinco linhas fazem a maior parte do resultado:
- Idioma e registro. “Árabe padrão moderno” (الفصحى), ou um dialeto específico. Sem isso, um modelo que resume uma entrada egípcia ou do Golfo pode responder misturando.
- Uma faixa de palavras. “De 40 a 60 palavras”. Faixas são mais fáceis de acertar que números exatos.
- Fatos como estão escritos. Números, datas e nomes copiados do texto, sem arredondar nem converter.
- Nada novo. Nenhum contexto que o texto não traga.
- Formato. Um parágrafo, ou três tópicos, ou JSON com campos fixos.
As instruções podem estar em árabe ou em inglês; em qualquer caso, diga de forma explícita o idioma e o registro da saída. Engenharia de prompt em árabe aprofunda registro, numerais e texto com alfabetos misturados. Este é o prompt usado no código abaixo:
لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
Como resumir texto em dialeto?
A maior parte do texto corporativo em árabe não é MSA: avaliações de clientes, conversas de WhatsApp e posts em redes sociais estão em dialeto, muitas vezes misturado com inglês ou Arabizi. Três escolhas ajudam:
- Resuma em MSA por padrão. É neutro entre regiões e mais fácil de pesquisar. Se o resumo volta para o mesmo cliente, use o dialeto dele.
- Mantenha as citações-chave ao pé da letra. Quando o tom importa, como em uma reclamação, peça uma citação curta com as palavras originais. Parafrasear dialeto em MSA pode suavizá-lo.
- Teste nos seus dialetos. A compreensão de dialetos varia entre modelos; veja como os LLMs lidam com o árabe do Golfo e o egípcio.
Os dados públicos não vão fazer esse teste por você. Os grandes conjuntos de resumo em árabe são notícias em MSA, e não encontramos um benchmark público de resumo em árabe do Golfo ou egípcio para indicar.
Como controlar o tamanho do resumo?
Peça em palavras e meça em palavras. Não confie na contagem do próprio modelo e não use um orçamento de tokens como unidade: o número de tokens por palavra em árabe varia de modelo para modelo. Com o tokenizador oficial do Qwen3.8 27B, medimos um parágrafo de notícia em árabe de 96 palavras em 166 tokens, e seu resumo de 58 palavras em 114 tokens. Nos tokenizadores dos quatro modelos de chat da BroadNet, contados com os arquivos de tokenizador do contador de tokens para árabe, o mesmo parágrafo foi de 166 a 224 tokens. Tokens por palavra em árabe traz a medição maior.
Dividir por espaços é a contagem certa para a maioria dos usos, porque é o que o leitor vê. O árabe cola و, ب, ل e ال à palavra, então um resumo de 50 palavras em árabe carrega mais que 50 palavras em inglês de conteúdo. Defina a faixa a partir de exemplos em árabe de que você gosta, não de uma meta pensada para o inglês.
Mais duas regras sobre tamanho:
max_tokensnão controla o tamanho. Ele corta a resposta no meio da frase. Defina bem acima do tamanho do resumo, principalmente em modelos de raciocínio: a documentação da BroadNet diz que DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder e que esse raciocínio conta paramax_tokens. Veja respostas vazias de modelos de raciocínio.- Tente de novo uma vez, com o número. “Seu resumo tem 17 palavras; pedi de 40 a 60” resolve mais do que repetir a instrução.
Como pegar detalhes inventados?
Sistemas de resumo abstrativo inventam coisas. Maynez et al. (ACL 2020) encontraram “substantial amounts of hallucinated content” (tradução: quantidades consideráveis de conteúdo alucinado) em todos os resumos de modelos que seus anotadores revisaram; isso foi antes dos LLMs atuais, mas nenhum modelo está imune. Não dá para checar significado de forma barata no código, mas dá para checar números: cada número do resumo deve aparecer no texto original. Antes, converta os dígitos arábicos orientais (٠–٩) e persas (۰–۹) para 0–9, ou ١٢ e 12 vão parecer diferentes.
import os, re
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
النص:
{text}"""
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))
def words(s: str) -> int:
return len(s.split()) # clitics (و، ال، ب) stay attached: count what readers see
def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
issues = []
n = words(summary)
if not lo <= n <= hi:
issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
extra = numbers(summary) - numbers(source)
if extra:
issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
return issues
def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
for i in range(attempts):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
summary = (r.choices[0].message.content or "").strip()
issues = check(text, summary, lo, hi)
if not issues:
return {"summary": summary, "attempts": i + 1, "issues": []}
messages += [{"role": "assistant", "content": summary},
{"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
return {"summary": summary, "attempts": attempts, "issues": issues} # send to review
Testamos isso com um servidor mock local (sem chamada à API real) e um artigo sintético de 96 palavras sobre um plano de ônibus da cidade. A primeira resposta do mock tinha 17 palavras e falava em ٣٠٠ ônibus onde o artigo dizia ٢٤٠. O check retornou os dois problemas: o tamanho medido e “números que não estão no texto: 300”. A segunda resposta, corrigida, passou com 58 palavras, então a função a retornou com attempts: 2.
A checagem de números deixa coisas passarem: um nome errado, uma decisão invertida, uma afirmação sem número. É um filtro, não um veredito. Para nomes, reaproveite a checagem de trechos da extração de entidades nomeadas em árabe: extraia as entidades do resumo e confirme que cada uma aparece no texto original.
Como resumir documentos longos em árabe?
Se o texto cabe na janela de contexto com folga, envie inteiro. O Qwen3.8 27B aceita 262.144 tokens por requisição e o GLM 5.3 1.048.576, somando prompt e resposta; o Gemma 4 VL 26B aceita 32.768. Entradas longas têm um ponto fraco conhecido: os modelos usam com menos confiabilidade os fatos que estão no meio de um contexto longo (lost in the middle). Para um relatório longo, resuma cada seção, depois resuma os resumos e mantenha os títulos das seções no prompt final. O post sobre reuniões mostra a etapa de junção em código; contexto longo vs RAG explica quando é melhor recuperar trechos.
Como avaliar resumos em árabe?
Use três camadas: uma pontuação automática de sobreposição para pegar regressões, uma pontuação semântica como segunda opinião e pessoas para a decisão.
ROUGE, com o tokenizador certo. O pacote rouge-score do Google (versão 0.1.2, ainda a release atual no PyPI em 16 de novembro de 2026) converte o texto para minúsculas e troca por espaço todo caractere fora de a–z e 0–9. O árabe some. Nós verificamos:
import re
from rouge_score import rouge_scorer
ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"
print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure) # 0.0
class ArabicTokenizer:
"""Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
def __init__(self, strip_prefixes=False):
self.strip = strip_prefixes
def tokenize(self, text):
text = re.sub(r"[ً-ٰٟـ]", "", text)
text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
toks = re.findall(r"\w+", text)
if self.strip: # crude: drop و/ب/ل/ال prefixes on longer words
toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
return toks
for strip in (False, True):
s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3)) # False 0.6, True 0.8
As mesmas duas frases ficam com 0, 0,6 ou 0,8 dependendo só da tokenização. Essa é a lição de verdade: a morfologia do árabe (للنقل contra النقل, بإضافة contra تضيف) mexe muito no ROUGE, então uma pontuação não significa nada sem o seu tokenizador. Os autores do XL-Sum publicam um fork multilíngue do ROUGE com stemming por idioma, incluindo árabe; use esse, ou seu próprio tokenizador, e mantenha-o fixo em todas as execuções que você comparar.
BERTScore compara significado por meio de embeddings, então tolera paráfrases. Para idiomas além de inglês e chinês, o modelo padrão é o bert-base-multilingual-cased. Trate como um segundo sinal, não como substituto da leitura.
Pessoas, com uma rubrica. Peça a um leitor de árabe que avalie de 50 a 100 resumos com três perguntas: falta algo importante, há algo afirmado que o original não diz, o registro está certo. Um LLM como juiz pode fazer uma triagem em volume depois que as notas dele concordarem com as dos seus leitores em uma amostra. Avaliar um LLM antes de trocar explica como montar esse conjunto.
Como dados públicos de referência:
| Dataset | O que contém | Observações |
|---|---|---|
| XL-Sum árabe | 46.897 pares de artigo e resumo da BBC Arabic (37.519 / 4.689 / 4.689) | CC BY-NC-SA 4.0: só pesquisa não comercial |
| EASC | 153 artigos, cinco resumos extrativos humanos cada | Pequeno; Wikipédia e dois jornais |
| LANS | 8,4 milhões de artigos com resumos de 22 jornais árabes, de 1999 a 2019 | Os resumos vêm dos metadados dos sites |
Os três são notícias em MSA. Seus tickets de suporte e relatórios não são, então o teste que vale é uma amostra dos seus próprios textos, resumida por uma pessoa.
Qual modelo da BroadNet usar e quanto custa?
Para um piloto, o Gemma 4 VL 26B roda com o crédito inicial de $5 a $0.10 de input e $0.22 de output por 1M de tokens; sua janela de 32.768 tokens comporta a maioria dos artigos individuais. O Qwen3.8 27B, que a BroadNet informa ter testado para escrita fluente em árabe e compreensão dos dialetos do Golfo e egípcio, custa $0.175 de input e $2.17 de output depois de uma recarga. Use o GLM 5.3 quando um único documento for maior que a janela do Qwen.
A conta para 10.000 artigos de 1.000 tokens cada, com resumos de 150 tokens: 10 milhões de tokens de input e 1,5 milhão de tokens de output, então no Qwen3.8 27B dá 10 × $0.175 mais 1,5 × $2.17. Some os tokens de raciocínio, cobrados como output, e eventuais novas tentativas; meça os dois em uma amostra a partir do bloco usage. Se o prompt é o mesmo para todos os artigos, coloque-o no início, para que possa ser cobrado pelo preço de input em cache.
Onde a BroadNet Inference entra
O BroadRouter é o site da própria BroadNet. A BroadNet Inference atende a etapa de resumo por meio de uma API compatível com a OpenAI, então o código acima roda com o SDK Python da OpenAI. A documentação dela diz que prompts e respostas não são retidos após a requisição. Ela não publica um benchmark próprio de resumo em árabe, e nada aqui mede a qualidade dos resumos nos modelos dela; rode as checagens acima nos seus textos. Para entrada falada, combine com o BroadNet Transcribe Arabic como no post sobre atas de reunião.
