BroadRouter

Resumir textos en árabe con un LLM: prompts, extensión y evaluación

Por el equipo de BroadNet Inference · 7 min de lectura · Publicado · Actualizado

Indique en el prompt el registro (normalmente árabe estándar moderno, incluso si el texto está en dialecto) y un rango de palabras. Después verifique en código: cuente las palabras, confirme que cada cifra del resumen aparece en el original y reintente una vez explicando el problema. Evalúe con un tokenizador de ROUGE adaptado al árabe y revisión humana; rouge-score por defecto da 0 al árabe.

Resumir un texto en árabe con un LLM requiere una sola solicitud. Obtener resúmenes publicables requiere tres decisiones que la solicitud no toma por usted: en qué registro escribir, qué extensión debe tener el resumen y cómo sabrá que es correcto. Este artículo trata el texto escrito: artículos, informes, tickets y largos hilos de mensajes. Para reuniones habladas, el pipeline de actas de reuniones en árabe añade el paso de transcripción y la combinación sección por sección.

¿Qué debe decir un prompt para resumir en árabe?

Cinco líneas determinan la mayor parte del resultado:

  1. Idioma y registro. «Árabe estándar moderno» (الفصحى) o un dialecto concreto. Sin esto, un modelo que resume un texto egipcio o del Golfo puede responder con una mezcla.
  2. Un rango de palabras. «De 40 a 60 palabras». Es más fácil acertar un rango que una cifra exacta.
  3. Los datos tal como están escritos. Cifras, fechas y nombres copiados del texto, sin redondear ni convertir.
  4. Nada nuevo. Ningún contexto que el texto no contenga.
  5. Forma. Un párrafo, tres viñetas o JSON con campos fijos.

Las instrucciones pueden ir en árabe o en inglés; en ambos casos, indique explícitamente el idioma y el registro de salida. Ingeniería de prompts en árabe trata con más detalle el registro, los numerales y el texto con alfabetos mezclados. Este es el prompt que usa el código de más abajo:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

¿Cómo se resume un texto en dialecto?

La mayor parte del texto empresarial en árabe no está en árabe estándar: las reseñas de clientes, los hilos de WhatsApp y las publicaciones en redes sociales están en dialecto, a menudo mezclado con inglés o arabizi. Tres decisiones ayudan:

  • Resuma en árabe estándar por defecto. Es neutral entre regiones y más fácil de buscar. Si el resumen vuelve al mismo cliente, use su dialecto.
  • Conserve literalmente las citas clave. Pida una cita breve con la formulación original cuando el tono importe, como en una queja. Parafrasear el dialecto en árabe estándar puede suavizarlo.
  • Pruebe con sus dialectos. La comprensión de los dialectos varía de un modelo a otro; vea cómo manejan los LLM el árabe del Golfo y el egipcio.

Los datos públicos no harán esas pruebas por usted. Los grandes conjuntos de resumen en árabe son noticias en árabe estándar, y no encontramos ningún benchmark público de resumen en árabe del Golfo o egipcio que podamos recomendarle.

¿Cómo se controla la extensión del resumen?

Pida en palabras y mida en palabras. No confíe en el recuento del propio modelo ni use un presupuesto de tokens como unidad: los tokens por palabra árabe varían según el modelo. Medimos un párrafo de noticias en árabe de 96 palabras en 166 tokens con el tokenizador oficial de Qwen3.8 27B, y su resumen de 58 palabras en 114 tokens. Con los tokenizadores de los cuatro modelos de chat de BroadNet, contados con los archivos de tokenizador del contador de tokens en árabe, el mismo párrafo osciló entre 166 y 224 tokens. Tokens por palabra en árabe recoge una medición más amplia.

Separar por espacios es el recuento correcto para la mayoría de los usos, porque es lo que ve el lector. El árabe une و, ب, ل y ال a la palabra, así que un resumen de 50 palabras en árabe transmite más contenido que 50 palabras en inglés. Fije su rango a partir de ejemplos en árabe que le gusten, no de un objetivo en inglés.

Dos reglas más sobre la extensión:

  • max_tokens no controla la extensión. Corta la respuesta a mitad de frase. Configúrelo muy por encima del tamaño del resumen, sobre todo con modelos de razonamiento: la documentación de BroadNet indica que DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder y que ese razonamiento cuenta para max_tokens. Vea respuestas vacías de los modelos de razonamiento.
  • Reintente una vez, con la cifra. «Su resumen tiene 17 palabras; pedí entre 40 y 60» corrige más que repetir la instrucción.

¿Cómo se detectan los datos inventados?

Los resumidores abstractivos inventan cosas. Maynez et al. (ACL 2020) encontraron “substantial amounts of hallucinated content” (Traducción: «cantidades sustanciales de contenido alucinado») en todos los resúmenes de modelos que revisaron sus anotadores; eso fue antes de los LLM actuales, pero ningún modelo es inmune. No se puede verificar el significado de forma barata en código, pero sí las cifras: toda cifra del resumen debe aparecer en el original. Convierta primero los dígitos arábigo-orientales (٠–٩) y persas (۰–۹) a 0–9; si no, ١٢ y 12 parecerán distintos.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Lo probamos contra un servidor simulado local (sin llamadas reales a la API) con un artículo sintético de 96 palabras sobre un plan de autobuses urbanos. La primera respuesta del simulador tenía 17 palabras y decía ٣٠٠ autobuses donde el artículo decía ٢٤٠. check devolvió ambos problemas: la extensión medida y «cifras que no están en el texto: 300». La segunda respuesta, corregida, pasó con 58 palabras, así que la función la devolvió con attempts: 2.

La revisión de cifras no detecta todo: un nombre equivocado, una decisión invertida, una afirmación sin cifras. Es un filtro, no un veredicto. Para los nombres, reutilice la verificación de fragmentos de extracción de entidades nombradas en árabe: extraiga las entidades del resumen y confirme que cada una aparece en el original.

¿Cómo se resumen documentos largos en árabe?

Si el texto cabe con holgura en la ventana de contexto, envíelo completo. Qwen3.8 27B admite 262,144 tokens por solicitud y GLM 5.3 1,048,576, prompt y respuesta juntos; Gemma 4 VL 26B admite 32,768. Las entradas largas tienen, sin embargo, un punto débil conocido: los modelos aprovechan con menos fiabilidad los datos situados en medio de un contexto largo (lost in the middle). Para un informe largo, resuma cada sección, luego resuma los resúmenes y mantenga los títulos de sección en el prompt final. El artículo sobre reuniones muestra el paso de combinación en código; contexto largo frente a RAG explica cuándo conviene recuperar en su lugar.

¿Cómo se evalúan los resúmenes en árabe?

Use tres capas: una métrica automática de coincidencia para detectar regresiones, una métrica semántica como segunda opinión y personas para decidir.

ROUGE, con el tokenizador adecuado. El paquete rouge-score de Google (versión 0.1.2, todavía la actual en PyPI a 16 de noviembre de 2026) pasa el texto a minúsculas y sustituye todo carácter fuera de a–z y 0–9 por un espacio. El árabe desaparece. Lo comprobamos:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Las mismas dos frases obtienen 0, 0.6 u 0.8 dependiendo solo de la tokenización. Esa es la verdadera lección: la morfología árabe (للنقل frente a النقل, بإضافة frente a تضيف) mueve mucho ROUGE, así que una puntuación no significa nada sin su tokenizador. Los autores de XL-Sum publican una versión multilingüe de ROUGE con stemming específico por idioma, árabe incluido; úsela, o su propio tokenizador, y manténgalo fijo en todas las ejecuciones que compare.

BERTScore compara significado mediante embeddings, así que tolera la paráfrasis. Para idiomas distintos del inglés y el chino, su modelo por defecto es bert-base-multilingual-cased. Trátelo como una segunda señal, no como sustituto de la lectura.

Personas, con una rúbrica. Pida a un lector de árabe que puntúe de 50 a 100 resúmenes con tres preguntas: ¿falta algo importante?, ¿se afirma algo que el original no dice? y ¿es correcto el registro? Un LLM como juez puede hacer un primer filtrado a gran escala una vez que sus puntuaciones coincidan con las de sus lectores en una muestra. Evaluar un LLM antes de cambiar explica cómo construir ese conjunto.

Como datos públicos de referencia:

Conjunto de datos Contenido Notas
XL-Sum árabe 46,897 pares de artículos de BBC Arabic y su resumen (37,519 / 4,689 / 4,689) CC BY-NC-SA 4.0: solo investigación no comercial
EASC 153 artículos, cinco resúmenes extractivos humanos cada uno Pequeño; Wikipedia y dos periódicos
LANS 8.4 millones de artículos con resúmenes de 22 periódicos árabes, de 1999 a 2019 Los resúmenes proceden de los metadatos de los sitios

Los tres son noticias en árabe estándar. Sus tickets de soporte e informes no lo son, así que la prueba que cuenta es una muestra de sus propios textos, resumida por una persona.

¿Qué modelo de BroadNet conviene usar y cuánto cuesta?

Para un piloto, Gemma 4 VL 26B funciona con el crédito inicial de $5 a $0.10 de entrada y $0.22 de salida por 1M de tokens; su ventana de 32,768 tokens admite la mayoría de los artículos individuales. Qwen3.8 27B, que según BroadNet probó por su escritura fluida en árabe y su comprensión de los dialectos del Golfo y egipcio, cuesta $0.175 de entrada y $2.17 de salida tras una recarga. Use GLM 5.3 cuando un documento supere la ventana de Qwen.

El cálculo para 10,000 artículos de 1,000 tokens cada uno, con resúmenes de 150 tokens: 10 millones de tokens de entrada y 1.5 millones de tokens de salida; en Qwen3.8 27B, eso es 10 × $0.175 más 1.5 × $2.17. Añada los tokens de razonamiento, que se facturan como salida, y los reintentos; mida ambos en una muestra con el bloque usage. Si el prompt es el mismo para todos los artículos, colóquelo al principio para que pueda facturarse a la tarifa de entrada en caché.

Dónde encaja BroadNet Inference

BroadRouter es el sitio web de BroadNet. BroadNet Inference ofrece el paso de resumen mediante una API compatible con OpenAI, así que el código anterior funciona con el SDK de OpenAI para Python. Su documentación indica que los prompts y las respuestas no se conservan tras la solicitud. No publica ningún benchmark propio de resumen en árabe, y nada de lo aquí expuesto mide la calidad de los resúmenes en sus modelos; ejecute las verificaciones anteriores con sus propios textos. Para entradas habladas, combínelo con BroadNet Transcribe Arabic como en el artículo de actas de reuniones.

Preguntas frecuentes

¿Puede un LLM resumir bien un texto en árabe?

Sí, pero fluido no es lo mismo que exacto. Verifique extensión y cifras en código, y pida a un lector de árabe que puntúe una muestra en busca de puntos omitidos y datos inventados antes de confiar en el resultado.

¿El resumen de un texto en dialecto debe ir en dialecto o en árabe estándar?

Normalmente en árabe estándar moderno, porque resulta neutral y se puede buscar en todas las regiones. Conserve citas breves en el dialecto original cuando la formulación importe, como en una queja. Indique en el prompt qué quiere; si no, el modelo alterna entre ambos.

¿Por qué ROUGE da 0 a mis resúmenes en árabe?

El paquete de Python rouge-score, muy usado, sustituye por defecto todo carácter fuera de a-z y 0-9 por un espacio, así que el texto árabe no genera ningún token. Pase su propio tokenizador o use la versión multilingüe de ROUGE de los autores de XL-Sum.

¿Cómo controlo la extensión de un resumen en árabe?

Pida un rango de palabras, no un número de tokens, y mida la respuesta separando por espacios. Si no cumple, reenvíe una vez con la extensión medida. Recuerde que las palabras árabes suelen llevar prefijos unidos, así que un resumen de 50 palabras en árabe contiene más significado que 50 palabras en inglés.

¿Con qué conjunto de datos puedo probar el resumen en árabe?

XL-Sum tiene 46,897 pares de artículos de la BBC en árabe con su resumen (licencia no comercial). EASC tiene 153 artículos con cinco resúmenes extractivos humanos cada uno. Ambos son noticias en árabe estándar, así que añada una muestra de sus propios textos, sobre todo en dialecto.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity