अरबी पर retrieval-augmented generation (RAG) चलाने के लिए दस्तावेज़ों और queries को एक जैसे वर्तनी नियमों से normalise करें, पैराग्राफ़ के हिसाब से chunk करें, अरबी keyword analyzer और बहुभाषी embedding मॉडल दोनों से खोजें, और LLM से सिर्फ़ मिले हुए अंशों से, हवालों के साथ जवाब दिलवाएँ।
मूल RAG पेपर का पैटर्न है: पहले retrieve, फिर generate। अरबी RAG की ज़्यादातर नाकामियाँ पहले आधे हिस्से में होती हैं। यूज़र “الفاتوره” टाइप करता है और इंडेक्स में “الفاتورة” है; पॉलिसी में “إلغاء” लिखा है और यूज़र “الغاء” लिखता है; embedding मॉडल ज़्यादातर अंग्रेज़ी पर ट्रेन हुआ था। retrieval ठीक कर दें, तो LLM वाला हिस्सा अक्सर अपने-आप संभल जाता है।
अरबी RAG पाइपलाइन कैसी दिखती है?
- PDFs, वेब पेजों और हेल्प-सेंटर लेखों से टेक्स्ट निकालें। स्कैन किए गए अरबी PDFs के लिए अरबी OCR बनाम vision LLMs देखें।
- इंडेक्स करने के लिए टेक्स्ट की एक कॉपी normalise करें।
- ढाँचे के हिसाब से chunk करें: headings और पैराग्राफ़।
- दो बार इंडेक्स करें: एक keyword इंडेक्स और एक vector इंडेक्स।
- normalised query से दोनों में retrieve करें, मिलाएँ और rerank करें।
- ऊपर के अंशों से हवालों के साथ जवाब generate करें।
search के लिए अरबी टेक्स्ट कैसे normalise करें?
अरबी में एक ही शब्द की कई वर्तनियाँ चलती हैं, और यूज़र हरकात या हम्ज़ा शायद ही कभी एक जैसा टाइप करते हैं। इंडेक्स की कॉपी और हर query को एक ही फ़ंक्शन से normalise करें:
| नियम | कैरेक्टर | क्यों |
|---|---|---|
| अलिफ़ एक करें | أ إ آ ٱ → ا | टाइप करते समय हम्ज़ा अक्सर छूट जाता है |
| अलिफ़ मक़सूरा | ى → ي | मिस्री टाइपिंग और ढीली वर्तनी में आम |
| ता मरबूता | ة → ه | यूज़र शब्द के अंत में ه टाइप करते हैं |
| हरकात हटाएँ | U+064B से U+0652, U+0670 | ज़्यादातर टेक्स्ट और queries बिना हरकात के होते हैं |
| तत्वील हटाएँ | ـ (U+0640) | सजावटी खिंचाव |
| अंक | ٠–٩ → 0–9 | संख्याएँ किसी भी रूप में मिलें |
हर विकल्प को अपने टेक्स्ट पर अरबी टेक्स्ट normalizer से आज़माएँ, जो मेल खाता Python फ़ंक्शन भी लिख देता है।
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
code points Unicode अरबी chart में हैं। दो सावधानियाँ:
- normalised टेक्स्ट कभी न दिखाएँ। मूल टेक्स्ट उसके साथ रखें, और वही दिखाएँ, उसी का हवाला दें और वही LLM को भेजें। normalised अरबी पाठकों को ग़लत वर्तनी वाली लगती है।
- कुछ विलय अर्थ खो देते हैं। ة → ه कुछ शब्द-जोड़ों को एक कर देता है, और ى → ي “على” (पर) को “علي” (अली) से मिला देता है। search recall के लिए यह सौदा आमतौर पर फ़ायदेमंद है; इसे अपनी queries पर टेस्ट करें।
यही नियम अरबी speech recognition की सटीकता मापने में भी केंद्रीय हैं, इसलिए आप पूरे stack में एक ही फ़ंक्शन दोबारा इस्तेमाल कर सकते हैं।
अरबी दस्तावेज़ों को कैसे chunk करें?
- ढाँचे पर तोड़ें। headings, कॉन्ट्रैक्ट के क्रमांकित अनुच्छेद (المادة ١، المادة ٢) और पैराग्राफ़ ब्रेक स्वाभाविक सीमाएँ हैं।
- हर chunk में कुछ सौ शब्द, एक-दो वाक्यों के overlap के साथ। अरबी शब्दों में अंग्रेज़ी शब्दों से ज़्यादा morphemes होते हैं, इसलिए एक chunk अपनी लंबाई से ज़्यादा अर्थ समेटता है।
- वाक्य की सीमाएँ: . ؟ ! और अरबी कॉमा ، पर सिर्फ़ आख़िरी उपाय के रूप में तोड़ें। बहुत से अरबी टेक्स्ट و से जुड़े लंबे वाक्य इस्तेमाल करते हैं, इसलिए पैराग्राफ़ के स्तर पर तोड़ना ज़्यादा सुरक्षित है।
- संदर्भ साथ रखें। हर chunk के आगे दस्तावेज़ का शीर्षक और सेक्शन heading अरबी में जोड़ें, ताकि “تُطبَّق هذه الرسوم” (ये शुल्क लागू होते हैं) कहने वाला chunk यह भी बताए कि कौन-से शुल्क।
RAG chunking कैलकुलेटर chunk size, overlap और top-k को chunks की संख्या, प्रति query टोकन और मासिक लागत में बदलता है।
keyword search और embeddings को साथ क्यों मिलाएँ?
Keyword search
अरबी morphology सीधे-सादे keyword matching को हरा देती है: كتاب, الكتاب, بالكتاب, وكتابه और كتب सब “किताब” से जुड़े हैं। ऐसा analyzer इस्तेमाल करें जो अरबी संभाले। Elasticsearch एक अरबी language analyzer देता है जो अरबी stop words, अंकों का normalisation, अरबी normalisation और एक अरबी stemmer जोड़ता है, ताकि الكتاب और وكتاب जैसे prefix वाले रूप ज़्यादा बार मेल खाएँ। उस पर निर्भर होने से पहले जाँचें कि यह आपकी शब्दावली में क्या-क्या मिला देता है।
Embeddings
Embedding मॉडल टेक्स्ट को vectors में बदलते हैं, ताकि मिलते-जुलते अर्थ वाले अंश पास-पास रहें, भले ही उनमें कोई शब्द साझा न हो। अरबी के लिए बहुभाषी मॉडल चुनें और उसे टेस्ट करें:
- कई भाषाओं पर ट्रेन हुए मॉडल चुनें, जैसे BGE M3, जिसे इसके लेखक 100 से ज़्यादा working languages का समर्थन करने वाला बताते हैं। सिर्फ़-अंग्रेज़ी मॉडल कमज़ोर अरबी vectors देते हैं।
- cross-language retrieval टेस्ट करें अगर यूज़र अरबी दस्तावेज़ों के बारे में अंग्रेज़ी में पूछते हैं, या उल्टा।
- मूल या normalised टेक्स्ट embed करें, लेकिन दस्तावेज़ों और queries के बीच एक जैसा रखें। दोनों टेस्ट करें; नतीजे मॉडल के हिसाब से बदलते हैं।
BroadNet Inference कोई embeddings endpoint नहीं देता: इसके दस्तावेज़ित endpoints chat completions और ऑडियो ट्रांसक्रिप्शन हैं। जिस embedding प्रोवाइडर पर आपको भरोसा हो उसे इस्तेमाल करें, या किसी ओपन बहुभाषी embedding मॉडल को vector database के साथ ख़ुद होस्ट करें, और जवाब बनाने के लिए BroadNet इस्तेमाल करें। embedding लागत कैलकुलेटर अलग-अलग प्रोवाइडरों पर इंडेक्सिंग और queries की कीमत निकालता है।
मिलाएँ और rerank करें
दोनों searches चलाएँ, नतीजों को reciprocal rank fusion से मिलाएँ (हर दस्तावेज़ को सभी सूचियों में 1 / (k + rank) के योग से स्कोर करें), और ऊपर के 10 से 30 अंश रखें। कोई reranker या LLM से जल्दी की गई relevance जाँच इन्हें और छाँट सकती है, लेकिन long-context मॉडलों के साथ आप अक्सर इसे छोड़ सकते हैं।
हवालों वाले जवाब कैसे बनाएँ?
मॉडल को ids के साथ अंश दें और उससे सिर्फ़ उन्हीं से जवाब देने को कहें:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
अरबी system प्रॉम्प्ट कहता है: “यूज़र के सवाल का जवाब सरल मानक आधुनिक अरबी में दें, सिर्फ़ संलग्न अंशों के आधार पर। हर तथ्य के बाद अंश का नंबर वर्गाकार कोष्ठक में दें। अगर अंशों में जवाब न मिले तो साफ़-साफ़ कहें।” अंग्रेज़ी निर्देश भी उतने ही अच्छे चलते हैं; मायने रखता है सिर्फ़ अंशों से जवाब देने और हवाला देने का नियम।
अंश सवाल से पहले रखें। अगर वही दस्तावेज़ कई अनुरोधों में आते हैं, तो उन्हें प्रॉम्प्ट की शुरुआत में एक ही क्रम में रखें ताकि cached इनपुट की कीमत लागू हो; देखें cached इनपुट टोकन।
कौन-सा मॉडल?
| मॉडल | कॉन्टेक्स्ट | क्यों |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | BroadNet पर इन तीनों में सबसे कम cached-इनपुट दर ($0.0055 प्रति 1M टोकन), कई अंशों के लिए जगह, flat प्लान उपलब्ध |
| GLM 5.3 | 1,048,576 | agentic retrieval के लिए tools और structured output |
| Qwen3.8 27B | 262,144 | BroadNet ने इसे अरबी में टेस्ट किया: धाराप्रवाह लेखन, खाड़ी और मिस्री बोलियाँ समझी गईं |
दस लाख टोकन के कॉन्टेक्स्ट के साथ आप खुलकर retrieve कर सकते हैं, मान लीजिए 5 की जगह 50 अंश, और मॉडल को चुनने दें। इससे तब नुक़सान घटता है जब retrieval सही अंश को 12वें नंबर पर रखता है। छोटे दस्तावेज़ सेटों के लिए शायद retrieval की ज़रूरत ही न हो; देखें long context बनाम RAG, और कॉन्टेक्स्ट विंडो कैलकुलेटर से जाँचें कि आपका corpus समाता है या नहीं। सभी मॉडलों की कीमतें कीमतों के पेज पर हैं।
अरबी RAG का मूल्यांकन कैसे करें?
- 50 से 100 असली सवाल लिखें, MSA, बोली और अंग्रेज़ी के उसी मिश्रण में जो आपके यूज़र असल में टाइप करते हैं।
- हर सवाल का जवाब देने वाला अंश चिह्नित करें।
- पहले retrieval मापें: क्या सही अंश ऊपर के 10 में है? सिर्फ़ keyword, सिर्फ़ embeddings और hybrid की तुलना करें, normalisation के साथ और बिना।
- फिर जवाब मापें: सही, हवाले के साथ, और जवाब न होने पर “नहीं मिला”।
- जानबूझकर ग़लत वर्तनी और बोली वाली queries शामिल करें। यूज़र “وين الفاتوره” (खाड़ी/लेवेंटाइन: बिल कहाँ है) लिखते हैं, “أين الفاتورة” नहीं।
जवाब बनाने वाला मॉडल बदलने से पहले retrieval ठीक करें: अगर सही अंश कभी प्रॉम्प्ट तक पहुँचता ही नहीं, तो कोई भी मॉडल उसका हवाला नहीं दे सकता।

