BroadRouter

عربی RAG: normalisation، chunking اور retrieval جو واقعی کام کرے

BroadNet Inference ٹیم · 6 منٹ کی پڑھائی · شائع شدہ

عربی RAG تب کام کرتا ہے جب آپ انڈیکس کرنے سے پہلے متن normalise کریں (الف کی شکلیں، یاء اور الف مقصورہ، تاء مربوطہ ایک کریں، اعراب اور تطویل ہٹائیں)، پیراگراف کے حساب سے chunk کریں، کثیر لسانی embedding ماڈل کو keyword search کے ساتھ ملائیں، اور long-context LLM کو ملے ہوئے اقتباسات سے حوالوں کے ساتھ جواب دینے دیں۔ queries پر بھی یہی normalisation لگائیں۔

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

عربی پر retrieval-augmented generation (RAG) چلانے کے لیے دستاویزات اور queries کو املا کے ایک جیسے اصولوں سے normalise کریں، پیراگراف کے حساب سے chunk کریں، عربی keyword analyzer اور کثیر لسانی embedding ماڈل دونوں سے تلاش کریں، اور LLM سے صرف ملے ہوئے اقتباسات سے، حوالوں کے ساتھ، جواب دلوائیں۔

اصل RAG پیپر کا پیٹرن ہے: پہلے retrieve، پھر generate۔ عربی RAG کی زیادہ تر ناکامیاں پہلے آدھے حصے میں ہوتی ہیں۔ صارف “الفاتوره” ٹائپ کرتا ہے اور انڈیکس میں “الفاتورة” ہے؛ پالیسی میں “إلغاء” لکھا ہے اور صارف “الغاء” لکھتا ہے؛ embedding ماڈل زیادہ تر انگریزی پر تربیت یافتہ تھا۔ retrieval ٹھیک کر دیں تو LLM والا حصہ اکثر خود سنبھل جاتا ہے۔

عربی RAG پائپ لائن کیسی دکھتی ہے؟

  1. PDFs، ویب صفحات اور ہیلپ سینٹر مضامین سے متن نکالیں۔ اسکین شدہ عربی PDFs کے لیے عربی OCR بمقابلہ vision LLMs دیکھیں۔
  2. انڈیکس کرنے کے لیے متن کی ایک کاپی normalise کریں۔
  3. ڈھانچے کے حساب سے chunk کریں: headings اور پیراگراف۔
  4. دو بار انڈیکس کریں: ایک keyword انڈیکس اور ایک vector انڈیکس۔
  5. normalised query سے دونوں میں retrieve کریں، ملائیں اور rerank کریں۔
  6. اوپر کے اقتباسات سے حوالوں کے ساتھ جواب generate کریں۔

search کے لیے عربی متن کیسے normalise کریں؟

عربی میں ایک ہی لفظ کے کئی املا چلتے ہیں، اور صارفین اعراب یا ہمزہ شاید ہی کبھی یکساں ٹائپ کرتے ہیں۔ انڈیکس کی کاپی اور ہر query کو ایک ہی فنکشن سے normalise کریں:

اصول حروف کیوں
الف ایک کریں أ إ آ ٱ → ا ٹائپ کرتے وقت ہمزہ اکثر چھوٹ جاتا ہے
الف مقصورہ ى → ي مصری ٹائپنگ اور ڈھیلے املا میں عام
تاء مربوطہ ة → ه صارفین لفظ کے آخر میں ه ٹائپ کرتے ہیں
اعراب ہٹائیں U+064B سے U+0652، U+0670 زیادہ تر متن اور queries بغیر اعراب کے ہوتے ہیں
تطویل ہٹائیں ـ (U+0640) آرائشی کھنچاؤ
ہندسے ٠–٩ → 0–9 نمبر کسی بھی شکل میں ملیں

ہر آپشن کو اپنے متن پر عربی متن normalizer سے آزمائیں، جو میل کھاتا Python فنکشن بھی لکھ دیتا ہے۔

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

code points Unicode عربی chart میں ہیں۔ دو احتیاطیں:

  • normalised متن کبھی نہ دکھائیں۔ اصل متن اس کے ساتھ رکھیں، اور وہی دکھائیں، اسی کا حوالہ دیں اور وہی LLM کو بھیجیں۔ normalised عربی قارئین کو غلط املا والی لگتی ہے۔
  • کچھ انضمام مطلب کھو دیتے ہیں۔ ة → ه چند الفاظ کے جوڑوں کو ایک کر دیتا ہے، اور ى → ي “على” (پر) کو “علي” (علی) سے ملا دیتا ہے۔ search recall کے لیے یہ سودا عموماً فائدہ مند ہے؛ اسے اپنی queries پر ٹیسٹ کریں۔

یہی اصول عربی speech recognition کی درستگی ناپنے میں بھی مرکزی ہیں، اس لیے آپ پورے stack میں ایک ہی فنکشن دوبارہ استعمال کر سکتے ہیں۔

عربی دستاویزات کو کیسے chunk کریں؟

  • ڈھانچے پر توڑیں۔ headings، معاہدوں کی نمبر شدہ دفعات (المادة ١، المادة ٢) اور پیراگراف کے وقفے فطری حدیں ہیں۔
  • ہر chunk میں چند سو الفاظ، ایک دو جملوں کے overlap کے ساتھ۔ عربی الفاظ میں انگریزی الفاظ سے زیادہ morphemes ہوتے ہیں، اس لیے ایک chunk اپنی لمبائی سے زیادہ مطلب سمیٹتا ہے۔
  • جملوں کی حدیں: . ؟ ! اور عربی کاما ، پر صرف آخری چارے کے طور پر توڑیں۔ بہت سے عربی متون و سے جڑے لمبے جملے استعمال کرتے ہیں، اس لیے پیراگراف کی سطح پر توڑنا زیادہ محفوظ ہے۔
  • سیاق ساتھ رکھیں۔ ہر chunk کے آگے دستاویز کا عنوان اور سیکشن heading عربی میں لگائیں، تاکہ “تُطبَّق هذه الرسوم” (یہ فیسیں لاگو ہوتی ہیں) کہنے والا chunk یہ بھی بتائے کہ کون سی فیسیں۔

RAG chunking کیلکولیٹر chunk size، overlap اور top-k کو chunks کی تعداد، فی query ٹوکن اور ماہانہ لاگت میں بدلتا ہے۔

keyword search اور embeddings کو ساتھ کیوں ملائیں؟

عربی morphology سیدھے سادے keyword matching کو ہرا دیتی ہے: كتاب، الكتاب، بالكتاب، وكتابه اور كتب سب “کتاب” سے جڑے ہیں۔ ایسا analyzer استعمال کریں جو عربی سنبھالے۔ Elasticsearch ایک عربی language analyzer دیتا ہے جو عربی stop words، ہندسوں کی normalisation، عربی normalisation اور ایک عربی stemmer کو جوڑتا ہے، تاکہ الكتاب اور وكتاب جیسی prefix والی شکلیں زیادہ بار میل کھائیں۔ اس پر انحصار کرنے سے پہلے جانچیں کہ یہ آپ کے ذخیرۂ الفاظ میں کیا کیا ملا دیتا ہے۔

Embeddings

Embedding ماڈل متن کو vectors میں بدلتے ہیں، تاکہ ملتے جلتے مطلب والے اقتباسات پاس پاس رہیں، چاہے ان میں کوئی لفظ مشترک نہ ہو۔ عربی کے لیے کثیر لسانی ماڈل چنیں اور اسے ٹیسٹ کریں:

  • کئی زبانوں پر تربیت یافتہ ماڈل ترجیح دیں، جیسے BGE M3، جسے اس کے مصنفین 100 سے زیادہ working languages کی حمایت کرنے والا بتاتے ہیں۔ صرف انگریزی ماڈل کمزور عربی vectors دیتے ہیں۔
  • cross-language retrieval ٹیسٹ کریں اگر صارفین عربی دستاویزات کے بارے میں انگریزی میں پوچھتے ہیں، یا الٹا۔
  • اصل یا normalised متن embed کریں، لیکن دستاویزات اور queries کے درمیان یکسانیت رکھیں۔ دونوں ٹیسٹ کریں؛ نتائج ماڈل کے حساب سے بدلتے ہیں۔

BroadNet Inference کوئی embeddings اینڈپوائنٹ نہیں دیتا: اس کے دستاویزی اینڈپوائنٹس chat completions اور آڈیو ٹرانسکرپشن ہیں۔ جس embedding فراہم کنندہ پر آپ کو بھروسہ ہو اسے استعمال کریں، یا کوئی اوپن کثیر لسانی embedding ماڈل vector database کے ساتھ خود ہوسٹ کریں، اور جواب بنانے کے لیے BroadNet استعمال کریں۔ embedding لاگت کیلکولیٹر مختلف فراہم کنندگان پر انڈیکسنگ اور queries کی قیمت نکالتا ہے۔

ملائیں اور rerank کریں

دونوں searches چلائیں، نتائج کو reciprocal rank fusion سے ملائیں (ہر دستاویز کو تمام فہرستوں میں 1 / (k + rank) کے مجموعے سے اسکور کریں)، اور اوپر کے 10 سے 30 اقتباسات رکھیں۔ کوئی reranker یا LLM سے فوری relevance جانچ انہیں مزید چھانٹ سکتی ہے، لیکن long-context ماڈلز کے ساتھ آپ اکثر اسے چھوڑ سکتے ہیں۔

حوالوں والے جواب کیسے بنائیں؟

ماڈل کو ids کے ساتھ اقتباسات دیں اور اس سے صرف انہی سے جواب دینے کو کہیں:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

عربی سسٹم پرامپٹ کہتا ہے: “صارف کے سوال کا جواب سادہ جدید معیاری عربی میں دیں، صرف منسلک اقتباسات کی بنیاد پر۔ ہر معلومات کے بعد اقتباس کا نمبر مربع قوسین میں دیں۔ اگر اقتباسات میں جواب نہ ملے تو صاف صاف کہیں۔” انگریزی ہدایات بھی اتنی ہی اچھی چلتی ہیں؛ اہم صرف اقتباسات سے جواب دینے اور حوالہ دینے کا اصول ہے۔

اقتباسات سوال سے پہلے رکھیں۔ اگر وہی دستاویزات کئی درخواستوں میں آتی ہیں تو انہیں پرامپٹ کے شروع میں ایک ہی ترتیب سے رکھیں تاکہ کیش شدہ ان پٹ کی قیمت لاگو ہو؛ دیکھیں کیش شدہ ان پٹ ٹوکن۔

کون سا ماڈل؟

ماڈل کانٹیکسٹ کیوں
DeepSeek V4.1 Flash 1,048,576 BroadNet پر ان تینوں میں سب سے کم کیش شدہ ان پٹ ریٹ ($0.0055 فی 1M ٹوکن)، کئی اقتباسات کی گنجائش، مقررہ قیمت والے پلان دستیاب
GLM 5.3 1,048,576 agentic retrieval کے لیے tools اور structured output
Qwen3.8 27B 262,144 BroadNet نے اسے عربی میں ٹیسٹ کیا: رواں تحریر، خلیجی اور مصری لہجے سمجھے گئے

دس لاکھ ٹوکن کے کانٹیکسٹ کے ساتھ آپ کھل کر retrieve کر سکتے ہیں، مثلاً 5 کی جگہ 50 اقتباسات، اور ماڈل کو چننے دیں۔ اس سے اس وقت نقصان کم ہوتا ہے جب retrieval درست اقتباس کو 12ویں نمبر پر رکھتا ہے۔ چھوٹے دستاویزی سیٹس کے لیے شاید retrieval کی ضرورت ہی نہ ہو؛ دیکھیں long context بمقابلہ RAG، اور کانٹیکسٹ ونڈو کیلکولیٹر سے جانچیں کہ آپ کا corpus سماتا ہے یا نہیں۔ تمام ماڈلز کی قیمتیں قیمتوں کے صفحے پر ہیں۔

عربی RAG کی جانچ کیسے کریں؟

  1. 50 سے 100 اصل سوال لکھیں، MSA، لہجے اور انگریزی کے اسی امتزاج میں جو آپ کے صارفین واقعی ٹائپ کرتے ہیں۔
  2. ہر سوال کا جواب دینے والا اقتباس نشان زد کریں۔
  3. پہلے retrieval ناپیں: کیا درست اقتباس اوپر کے 10 میں ہے؟ صرف keyword، صرف embeddings اور hybrid کا موازنہ کریں، normalisation کے ساتھ اور بغیر۔
  4. پھر جواب ناپیں: درست، حوالے کے ساتھ، اور جواب نہ ہونے پر “نہیں ملا”۔
  5. جان بوجھ کر غلط املا اور لہجے والی queries شامل کریں۔ صارفین “وين الفاتوره” (خلیجی/شامی: بل کہاں ہے) لکھتے ہیں، “أين الفاتورة” نہیں۔

جواب بنانے والا ماڈل بدلنے سے پہلے retrieval ٹھیک کریں: اگر درست اقتباس کبھی پرامپٹ تک پہنچتا ہی نہیں، تو کوئی ماڈل اس کا حوالہ نہیں دے سکتا۔

عام سوالات

کیا BroadNet Inference embeddings دیتا ہے؟

نہیں۔ اس کے دستاویزی اینڈپوائنٹس chat completions اور آڈیو ٹرانسکرپشن ہیں۔ کسی دوسرے فراہم کنندہ کا embedding ماڈل استعمال کریں یا کوئی اوپن کثیر لسانی embedding ماڈل خود چلائیں، اور جواب بنانے کے مرحلے کے لیے BroadNet استعمال کریں۔

کیا تاء مربوطہ کو ہاء میں normalise کرنا چاہیے؟

search کے لیے عموماً ہاں، کیونکہ صارفین دونوں ٹائپ کرتے ہیں۔ اس سے چند مختلف الفاظ ایک ہو جاتے ہیں، لیکن زیادہ تر corpus میں recall کا فائدہ اس سے بڑا ہوتا ہے۔ دکھانے اور حوالوں کے لیے اصل متن رکھیں۔

عربی chunks کتنے بڑے ہونے چاہییں؟

ایک سے تین پیراگراف، یعنی چند سو الفاظ سے شروع کریں، تھوڑے overlap کے ساتھ۔ headings اور پیراگراف پر توڑیں، جملے کے بیچ نہیں، اور ہر chunk کے ساتھ دستاویز کا عنوان رکھیں۔

عربی کے لیے کون سا embedding ماڈل کام کرتا ہے؟

کثیر لسانی ماڈل استعمال کریں اور اسے اپنی عربی queries پر ٹیسٹ کریں۔ مثال کے طور پر BGE M3 کے مصنفین اسے 100 سے زیادہ working languages میں retrieval کی حمایت کرنے والا بتاتے ہیں۔ صرف انگریزی embedding ماڈل کمزور عربی vectors دیتے ہیں۔

کیا صارفین انگریزی میں تلاش کر کے عربی دستاویزات پا سکتے ہیں؟

جی ہاں، ایسے کثیر لسانی embedding ماڈل سے جو دونوں زبانوں کو ایک ہی space میں رکھتا ہے، یا keyword search سے پہلے LLM سے query کا ترجمہ کروا کر۔ cross-language queries کو الگ سے ٹیسٹ کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں