Per far funzionare la retrieval-augmented generation (RAG) sull’arabo, normalizza documenti e query con le stesse regole di grafia, dividi in chunk per paragrafo, cerca sia con un analyzer arabo per parole chiave sia con un modello di embedding multilingue, e fai rispondere l’LLM solo a partire dai passaggi recuperati, con citazioni.
Lo schema, dall’articolo originale sulla RAG, è: prima recupera, poi genera. La maggior parte dei fallimenti della RAG in arabo avviene nella prima metà. Un utente scrive “الفاتوره” e l’indice contiene “الفاتورة”; una policy dice “إلغاء” e l’utente scrive “الغاء”; il modello di embedding è stato addestrato soprattutto sull’inglese. Sistema il retrieval e la parte dell’LLM tende a sistemarsi da sola.
Com’è fatta una pipeline RAG per l’arabo?
- Estrai il testo da PDF, pagine web e articoli del centro assistenza. Per i PDF arabi scansionati, vedi OCR arabo vs LLM con visione.
- Normalizza una copia del testo per l’indicizzazione.
- Dividi in chunk seguendo la struttura: titoli e paragrafi.
- Indicizza due volte: un indice per parole chiave e un indice vettoriale.
- Recupera da entrambi con la query normalizzata, unisci e riordina.
- Genera una risposta dai passaggi migliori, citandoli.
Come normalizzare il testo arabo per la ricerca?
L’arabo ammette più grafie della stessa parola, e gli utenti raramente scrivono diacritici o hamza in modo coerente. Normalizza la copia indicizzata e ogni query con la stessa funzione:
| Regola | Caratteri | Perché |
|---|---|---|
| Unificare l’alef | أ إ آ ٱ → ا | Scrivendo, la hamza viene spesso omessa |
| Alef maqsura | ى → ي | Comune nella scrittura egiziana e nella grafia approssimativa |
| Ta marbuta | ة → ه | Gli utenti scrivono ه a fine parola |
| Togliere i diacritici | da U+064B a U+0652, U+0670 | La maggior parte di testi e query non è vocalizzata |
| Eliminare il tatweel | ـ (U+0640) | Allungamento decorativo |
| Cifre | ٠–٩ → 0–9 | Far corrispondere i numeri in entrambe le forme |
Prova ogni opzione sul tuo testo con il normalizzatore di testo arabo, che scrive anche una funzione Python corrispondente.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
I code point sono nella tabella Unicode dell’arabo. Due avvertenze:
- Non mostrare mai il testo normalizzato. Conserva l’originale accanto e usa l’originale per visualizzare, citare e inviare all’LLM. L’arabo normalizzato sembra scritto male a chi legge.
- Alcune unificazioni perdono significato. ة → ه unisce alcune coppie di parole, e ى → ي unisce “على” (su) con “علي” (Ali). Per la recall della ricerca di solito ne vale la pena; testalo sulle tue query.
Le stesse regole sono centrali per misurare l’accuratezza del riconoscimento vocale in arabo, quindi puoi riusare un’unica funzione in tutto lo stack.
Come dividere in chunk i documenti in arabo?
- Dividi seguendo la struttura. Titoli, articoli numerati nei contratti (المادة ١، المادة ٢) e cambi di paragrafo sono confini naturali.
- Qualche centinaio di parole per chunk, con una o due frasi di sovrapposizione. Le parole arabe contengono più morfemi di quelle inglesi, quindi un chunk copre più significato per parola di quanto suggerisca la sua lunghezza.
- Confini di frase: dividi su . ؟ ! e sulla virgola araba ، solo come ultima risorsa. Molti testi arabi usano frasi lunghe unite da و, quindi dividere a livello di paragrafo è più sicuro.
- Porta con te il contesto. Fai precedere ogni chunk dal titolo del documento e dal titolo della sezione, in arabo, così un chunk che dice “تُطبَّق هذه الرسوم” (si applicano queste commissioni) dice ancora quali commissioni.
Il calcolatore di chunking per RAG trasforma dimensione dei chunk, sovrapposizione e top-k in numero di chunk, token per query e costo mensile.
Perché combinare ricerca per parole chiave ed embedding?
Ricerca per parole chiave
La morfologia araba manda in crisi il matching ingenuo per parole chiave: كتاب, الكتاب, بالكتاب, وكتابه e كتب sono tutte legate a “libro”. Usa un analyzer che gestisca l’arabo. Elasticsearch include un language analyzer per l’arabo che concatena stop word arabe, normalizzazione delle cifre, normalizzazione araba e uno stemmer arabo, così forme con prefisso come الكتاب e وكتاب corrispondono più spesso. Verifica cosa unisce sul tuo vocabolario prima di farci affidamento.
Embedding
I modelli di embedding trasformano il testo in vettori in modo che passaggi con significato simile stiano vicini, anche quando non condividono parole. Per l’arabo, scegli un modello multilingue e testalo:
- Preferisci modelli addestrati su molte lingue, come BGE M3, che i suoi autori descrivono come capace di supportare più di 100 lingue di lavoro. I modelli solo inglesi producono vettori arabi scadenti.
- Testa il retrieval tra lingue diverse se gli utenti fanno domande in inglese su documenti in arabo, o viceversa.
- Fai l’embedding del testo originale o di quello normalizzato, ma sii coerente tra documenti e query. Testali entrambi; i risultati variano da modello a modello.
BroadNet Inference non offre un endpoint per gli embedding: i suoi endpoint documentati sono chat completions e trascrizioni audio. Usa un fornitore di embedding di cui ti fidi, oppure ospita un modello di embedding multilingue aperto con un database vettoriale, e usa BroadNet per la generazione. Il calcolatore dei costi di embedding stima il prezzo di indicizzazione e query tra i vari fornitori.
Unire e riordinare
Esegui entrambe le ricerche, unisci i risultati con la reciprocal rank fusion (assegna a ogni documento la somma di 1 / (k + posizione) tra le liste) e tieni i primi 10–30 passaggi. Un reranker o un rapido controllo di pertinenza con un LLM può sfoltire ancora, ma con i modelli a contesto lungo spesso puoi farne a meno.
Come generare risposte con citazioni?
Dai al modello i passaggi con un id e chiedigli di rispondere solo a partire da quelli:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
Il system prompt in arabo dice: “Rispondi alla domanda dell’utente in arabo standard moderno semplice, basandoti solo sui passaggi allegati. Cita il numero del passaggio tra parentesi quadre dopo ogni informazione. Se non trovi la risposta nei passaggi, dillo chiaramente.” Anche le istruzioni in inglese funzionano: ciò che conta è la regola di rispondere solo dai passaggi e di citare.
Metti i passaggi prima della domanda. Se gli stessi documenti compaiono in molte richieste, tienili nello stesso ordine all’inizio del prompt così si applica la tariffa dell’input in cache; vedi token di input in cache.
Quale modello?
| Modello | Contesto | Perché |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | La tariffa più bassa per l’input in cache tra questi tre su BroadNet ($0.0055 per 1M di token), spazio per molti passaggi, piani flat disponibili |
| GLM 5.3 | 1.048.576 | Tool e output strutturato per il retrieval agentico |
| Qwen3.8 27B | 262.144 | BroadNet l’ha testato in arabo: scrittura fluente, dialetti del Golfo ed egiziano compresi |
Con un contesto da un milione di token puoi recuperare in abbondanza, diciamo 50 passaggi invece di 5, e lasciare che sia il modello a scegliere. Questo limita i danni quando il retrieval mette il passaggio giusto al dodicesimo posto. Per piccoli insiemi di documenti potresti non aver bisogno del retrieval; vedi contesto lungo vs RAG e verifica se il tuo corpus ci sta con il calcolatore della finestra di contesto. I prezzi di tutti i modelli sono nella pagina dei prezzi.
Come valutare una RAG in arabo?
- Scrivi da 50 a 100 domande reali, nel mix di MSA, dialetto e inglese che i tuoi utenti scrivono davvero.
- Segna il passaggio che risponde a ciascuna.
- Misura prima il retrieval: il passaggio giusto è tra i primi 10? Confronta solo parole chiave, solo embedding e ricerca ibrida, con e senza normalizzazione.
- Poi misura le risposte: corrette, citate e “non trovato” quando la risposta manca.
- Includi apposta query con errori di battitura e in dialetto. Gli utenti scrivono “وين الفاتوره” (Golfo/Levante: dov’è la fattura), non “أين الفاتورة”.
Sistema il retrieval prima di cambiare il modello di generazione: se il passaggio giusto non arriva mai nel prompt, nessun modello può citarlo.

