Para que la generación aumentada por recuperación (RAG) funcione en árabe, normalice documentos y consultas con las mismas reglas ortográficas, divida por párrafos, busque con un analizador de palabras clave para árabe y con un modelo de embeddings multilingüe, y haga que el LLM responda solo a partir de los pasajes recuperados, con citas.
El patrón, tomado del artículo original de RAG, es recuperar y luego generar. La mayoría de los fallos del RAG en árabe ocurren en la primera mitad. Un usuario escribe “الفاتوره” y el índice guarda “الفاتورة”; una política dice “إلغاء” y el usuario escribe “الغاء”; el modelo de embeddings se entrenó sobre todo con inglés. Arregle la recuperación y la parte del LLM suele resolverse sola.
¿Cómo es un pipeline de RAG en árabe?
- Extraiga el texto de PDF, páginas web y artículos del centro de ayuda. Para PDF en árabe escaneados, consulte OCR árabe frente a LLM de visión.
- Normalice una copia del texto para indexarla.
- Divida según la estructura: encabezados y párrafos.
- Indexe dos veces: un índice de palabras clave y un índice vectorial.
- Recupere de ambos con la consulta normalizada, combine y reordene.
- Genere una respuesta a partir de los mejores pasajes, citándolos.
¿Cómo debe normalizar el texto árabe para la búsqueda?
El árabe admite varias grafías para la misma palabra, y los usuarios rara vez escriben los diacríticos o la hamza de forma consistente. Normalice la copia indexada y cada consulta con la misma función:
| Regla | Caracteres | Por qué |
|---|---|---|
| Unificar alef | أ إ آ ٱ → ا | La hamza suele omitirse al escribir |
| Alef maqsura | ى → ي | Común al teclear en Egipto y en la escritura informal |
| Ta marbuta | ة → ه | Los usuarios escriben ه al final de palabra |
| Quitar diacríticos | U+064B a U+0652, U+0670 | La mayoría de los textos y consultas no llevan vocales |
| Quitar tatweel | ـ (U+0640) | Alargamiento decorativo |
| Cifras | ٠–٩ → 0–9 | Que los números coincidan en cualquier forma |
Pruebe cada opción con su propio texto en el normalizador de texto árabe, que además genera la función de Python correspondiente.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Los puntos de código están en la tabla árabe de Unicode. Dos advertencias:
- Nunca muestre el texto normalizado. Guarde el original junto a él y muestre, cite y envíe al LLM el original. El árabe normalizado parece mal escrito a los lectores.
- Algunas fusiones pierden significado. ة → ه fusiona algunos pares de palabras, y ى → ي fusiona “على” (sobre) con “علي” (Alí). Para el recall de búsqueda, ese intercambio suele valer la pena; pruébelo con sus propias consultas.
Las mismas reglas son centrales para medir la precisión del reconocimiento de voz en árabe, así que puede reutilizar una sola función en todo su stack.
¿Cómo debe dividir los documentos en árabe?
- Divida según la estructura. Los encabezados, los artículos numerados de los contratos (المادة ١، المادة ٢) y los saltos de párrafo son límites naturales.
- Unos cientos de palabras por chunk, con una o dos frases de solapamiento. Las palabras árabes llevan más morfemas que las inglesas, así que un chunk cubre más significado por palabra de lo que sugiere su longitud.
- Límites de frase: divida en . ؟ ! y en la coma árabe ، solo como último recurso. Muchos textos árabes usan frases largas unidas con و, así que dividir por párrafos es más seguro.
- Arrastre el contexto. Anteponga a cada chunk el título del documento y el encabezado de la sección, en árabe, para que un chunk que dice “تُطبَّق هذه الرسوم” (se aplican estas tarifas) siga indicando qué tarifas.
La calculadora de chunking para RAG convierte el tamaño de chunk, el solapamiento y el top-k en número de chunks, tokens por consulta y costo mensual.
¿Por qué combinar búsqueda por palabras clave y embeddings?
Búsqueda por palabras clave
La morfología árabe derrota a la coincidencia ingenua de palabras clave: كتاب, الكتاب, بالكتاب, وكتابه y كتب se relacionan todas con «libro». Use un analizador que maneje el árabe. Elasticsearch incluye un analizador de idioma árabe que encadena stop words árabes, normalización de cifras, normalización árabe y un stemmer árabe, de modo que formas con prefijo como الكتاب y وكتاب coinciden más a menudo. Revise qué fusiona con su propio vocabulario antes de confiar en él.
Embeddings
Los modelos de embeddings convierten el texto en vectores de modo que los pasajes con significado parecido quedan cerca, aunque no compartan palabras. Para árabe, elija un modelo multilingüe y pruébelo:
- Prefiera modelos entrenados en muchos idiomas, como BGE M3, que sus autores describen como compatible con más de 100 idiomas de trabajo. Los modelos solo en inglés dan vectores pobres en árabe.
- Pruebe la recuperación entre idiomas si los usuarios preguntan en inglés por documentos en árabe, o al revés.
- Genere embeddings del texto original o del normalizado, pero sea consistente entre documentos y consultas. Pruebe ambos; los resultados varían según el modelo.
BroadNet Inference no ofrece un endpoint de embeddings: sus endpoints documentados son chat completions y transcripciones de audio. Use un proveedor de embeddings de su confianza, o aloje un modelo de embeddings multilingüe abierto en una base de datos vectorial, y use BroadNet para la generación. La calculadora de costo de embeddings estima el costo de indexación y consultas entre proveedores.
Combinar y reordenar
Ejecute ambas búsquedas, combine los resultados con reciprocal rank fusion (puntúe cada documento con la suma de 1 / (k + rank) en todas las listas) y quédese con los 10 a 30 mejores pasajes. Un reranker o una comprobación rápida de relevancia con un LLM puede recortar más, pero con modelos de contexto largo a menudo puede omitirlo.
¿Cómo se generan respuestas con citas?
Entregue al modelo los pasajes con identificadores y pídale que responda solo a partir de ellos:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
El prompt de sistema en árabe dice: «Responda la pregunta del usuario en árabe estándar moderno sencillo, basándose solo en los pasajes adjuntos. Cite el número del pasaje entre corchetes después de cada dato. Si no encuentra la respuesta en los pasajes, dígalo con claridad». Las instrucciones en inglés funcionan igual de bien; lo que importa es la regla de responder solo a partir de los pasajes y citar.
Coloque los pasajes antes de la pregunta. Si los mismos documentos aparecen en muchas solicitudes, manténgalos en el mismo orden al inicio del prompt para que se aplique el precio de entrada en caché; consulte tokens de entrada en caché.
¿Qué modelo?
| Modelo | Contexto | Por qué |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | La tarifa de entrada en caché más baja de estos tres en BroadNet ($0.0055 por 1M de tokens), espacio para muchos pasajes, planes de tarifa plana disponibles |
| GLM 5.3 | 1,048,576 | Herramientas y salida estructurada para recuperación agéntica |
| Qwen3.8 27B | 262,144 | BroadNet lo probó en árabe: redacción fluida, entiende los dialectos del Golfo y egipcio |
Con un contexto de un millón de tokens puede recuperar con generosidad, por ejemplo 50 pasajes en lugar de 5, y dejar que el modelo elija. Eso reduce el daño cuando la recuperación coloca el pasaje correcto en el puesto 12. Para conjuntos pequeños de documentos quizá ni siquiera necesite recuperación; consulte contexto largo frente a RAG y compruebe si su corpus cabe con la calculadora de ventana de contexto. Los precios de todos los modelos están en la página de precios.
¿Cómo se evalúa el RAG en árabe?
- Escriba de 50 a 100 preguntas reales, con la mezcla de MSA, dialecto e inglés que sus usuarios realmente escriben.
- Marque el pasaje que responde cada una.
- Mida primero la recuperación: ¿está el pasaje correcto entre los 10 primeros? Compare solo palabras clave, solo embeddings e híbrido, con y sin normalización.
- Luego mida las respuestas: correctas, citadas y «no encontrado» cuando falta la respuesta.
- Incluya a propósito consultas mal escritas y en dialecto. Los usuarios escriben “وين الفاتوره” (Golfo/Levante: dónde está la factura), no “أين الفاتورة”.
Arregle la recuperación antes de cambiar el modelo de generación: si el pasaje correcto nunca llega al prompt, ningún modelo puede citarlo.

