LLM سے عربی متن کا خلاصہ بنانا ایک درخواست کا کام ہے۔ ایسے خلاصے حاصل کرنا جنہیں آپ ship کر سکیں، تین فیصلے مانگتا ہے جو درخواست آپ کے لیے نہیں کرتی: کس انداز کی زبان میں لکھنا ہے، خلاصہ کتنا لمبا ہو، اور آپ کیسے جانیں گے کہ وہ درست ہے۔ یہ پوسٹ لکھے ہوئے متن کے بارے میں ہے: مضامین، رپورٹس، ٹکٹس اور لمبے پیغام تھریڈز۔ بولی گئی میٹنگز کے لیے عربی میٹنگ منٹس پائپ لائن ٹرانسکرپشن کا مرحلہ اور حصہ بہ حصہ جوڑنا شامل کرتی ہے۔
عربی خلاصے کے پرامپٹ میں کیا لکھا ہونا چاہیے؟
نتیجے کا زیادہ تر حصہ پانچ سطریں طے کرتی ہیں:
- زبان اور انداز۔ “جدید معیاری عربی” (الفصحى)، یا کسی لہجے کا نام۔ اس کے بغیر مصری یا خلیجی ان پٹ کا خلاصہ بناتا ماڈل ملی جلی زبان میں جواب دے سکتا ہے۔
- الفاظ کی حد۔ “40 سے 60 الفاظ”۔ عین تعداد کے مقابلے میں حد تک پہنچنا آسان ہے۔
- حقائق جیسے لکھے ہیں۔ نمبر، تاریخیں اور نام متن سے نقل کیے ہوئے، نہ گول کیے ہوئے، نہ بدلے ہوئے۔
- کچھ نیا نہیں۔ کوئی ایسا پس منظر نہیں جو متن میں نہ ہو۔
- شکل۔ ایک پیراگراف، یا تین بلٹ پوائنٹس، یا مقررہ فیلڈز والا JSON۔
ہدایات عربی یا انگریزی میں ہو سکتی ہیں؛ دونوں صورتوں میں آؤٹ پٹ کی زبان اور انداز صاف لکھیں۔ عربی پرامپٹ انجینئرنگ زبان کے انداز، اعداد اور ملے جلے رسم الخط والے متن کو زیادہ گہرائی سے دیکھتی ہے۔ نیچے کے کوڈ میں یہی پرامپٹ استعمال ہوا ہے:
لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
لہجے والے متن کا خلاصہ کیسے بنائیں؟
عربی کا زیادہ تر کاروباری متن MSA نہیں ہوتا: گاہکوں کے ریویوز، WhatsApp تھریڈز اور سوشل پوسٹس لہجے میں ہوتی ہیں، اکثر انگریزی یا Arabizi کے ساتھ ملی ہوئی۔ تین فیصلے مدد کرتے ہیں:
- ڈیفالٹ طور پر MSA میں خلاصہ بنائیں۔ یہ ہر علاقے کے لیے غیر جانبدار ہے اور تلاش کرنا آسان ہے۔ اگر خلاصہ اسی گاہک کو واپس جاتا ہے، تو اس کے لہجے سے مطابقت رکھیں۔
- اہم اقتباسات لفظ بہ لفظ رکھیں۔ جہاں لہجہ اہم ہو، جیسے شکایت میں، وہاں اصل الفاظ میں ایک مختصر اقتباس مانگیں۔ لہجے کو MSA میں بدلنے سے بات نرم پڑ سکتی ہے۔
- اپنے لہجوں پر ٹیسٹ کریں۔ لہجے کی سمجھ ماڈل در ماڈل بدلتی ہے؛ دیکھیں LLMs خلیجی اور مصری عربی کو کیسے سنبھالتے ہیں۔
عوامی ڈیٹا یہ ٹیسٹنگ آپ کے لیے نہیں کرے گا۔ بڑے عربی خلاصہ سیٹ MSA خبریں ہیں، اور ہمیں خلیجی یا مصری خلاصہ نویسی کا کوئی عوامی benchmark نہیں ملا جس کی طرف ہم اشارہ کر سکیں۔
خلاصے کی لمبائی کیسے کنٹرول کریں؟
الفاظ میں مانگیں، پھر الفاظ میں ناپیں۔ ماڈل کی اپنی گنتی پر بھروسہ نہ کریں، اور اکائی کے طور پر ٹوکن بجٹ استعمال نہ کریں: ایک عربی لفظ میں کتنے ٹوکن ہوتے ہیں، یہ ماڈل پر منحصر ہے۔ ہم نے آفیشل Qwen3.8 27B ٹوکنائزر سے 96 الفاظ کے ایک عربی خبری پیراگراف کو 166 ٹوکن اور اس کے 58 الفاظ کے خلاصے کو 114 ٹوکن ناپا۔ BroadNet کے چار چیٹ ماڈلز کے ٹوکنائزرز پر، عربی ٹوکن کاؤنٹر کی ٹوکنائزر فائلوں سے گننے پر، وہی پیراگراف 166 سے 224 ٹوکن کے درمیان رہا۔ بڑی پیمائش عربی میں فی لفظ ٹوکن میں ہے۔
زیادہ تر کاموں کے لیے whitespace پر تقسیم کرنا درست گنتی ہے، کیونکہ قاری یہی دیکھتے ہیں۔ عربی و، ب، ل اور ال کو لفظ سے جوڑ دیتی ہے، اس لیے 50 الفاظ کا عربی خلاصہ 50 انگریزی الفاظ سے زیادہ مواد رکھتا ہے۔ اپنی حد پسندیدہ عربی مثالوں سے طے کریں، انگریزی ہدف سے نہیں۔
لمبائی کے دو اور اصول:
max_tokensلمبائی کا کنٹرول نہیں ہے۔ یہ جواب کو جملے کے بیچ میں کاٹ دیتا ہے۔ اسے خلاصے کے سائز سے کافی اوپر رکھیں، خاص طور پر ریزننگ ماڈلز پر: BroadNet کی دستاویزات کہتی ہیں کہ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور وہ ریزننگmax_tokensمیں گنی جاتی ہے۔ دیکھیں ریزننگ ماڈلز سے خالی جوابات۔- نمبر کے ساتھ ایک بار دوبارہ کوشش کریں۔ “آپ کا خلاصہ 17 الفاظ کا ہے؛ میں نے 40 سے 60 مانگے تھے” ہدایت دہرانے سے زیادہ ٹھیک کرتا ہے۔
گھڑی ہوئی تفصیلات کیسے پکڑیں؟
abstractive خلاصہ ساز چیزیں گھڑ لیتے ہیں۔ Maynez et al. (ACL 2020) نے ان تمام ماڈل خلاصوں میں “substantial amounts of hallucinated content” (ترجمہ: گھڑے ہوئے مواد کی خاصی مقدار) پائی جن کا ان کے annotators نے جائزہ لیا؛ یہ آج کے LLMs سے پہلے کی بات ہے، لیکن کوئی ماڈل اس سے محفوظ نہیں۔ معنی کو کوڈ میں سستے طریقے سے نہیں جانچا جا سکتا، لیکن نمبر جانچے جا سکتے ہیں: خلاصے کا ہر نمبر ماخذ میں ہونا چاہیے۔ پہلے مشرقی عربی ہندسوں (٠–٩) اور فارسی ہندسوں (۰–۹) کو 0–9 میں بدلیں، ورنہ ١٢ اور 12 مختلف لگیں گے۔
import os, re
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
النص:
{text}"""
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))
def words(s: str) -> int:
return len(s.split()) # clitics (و، ال، ب) stay attached: count what readers see
def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
issues = []
n = words(summary)
if not lo <= n <= hi:
issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
extra = numbers(summary) - numbers(source)
if extra:
issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
return issues
def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
for i in range(attempts):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
summary = (r.choices[0].message.content or "").strip()
issues = check(text, summary, lo, hi)
if not issues:
return {"summary": summary, "attempts": i + 1, "issues": []}
messages += [{"role": "assistant", "content": summary},
{"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
return {"summary": summary, "attempts": attempts, "issues": issues} # send to review
ہم نے اسے ایک مقامی mock سرور پر ٹیسٹ کیا (کوئی live API کال نہیں)، شہر کے بس منصوبے پر 96 الفاظ کے ایک مصنوعی مضمون کے ساتھ۔ mock کا پہلا جواب 17 الفاظ کا تھا اور اس میں ٣٠٠ بسیں لکھی تھیں، جبکہ مضمون میں ٢٤٠ تھیں۔ check نے دونوں مسائل لوٹائے: ناپی گئی لمبائی، اور “numbers not in the text: 300” (ترجمہ: ایسے نمبر جو متن میں نہیں: 300)۔ دوسرا، درست کیا گیا جواب 58 الفاظ پر پاس ہوا، اس لیے فنکشن نے اسے attempts: 2 کے ساتھ لوٹایا۔
نمبر کی جانچ کچھ چیزیں چھوڑ دیتی ہے: غلط نام، الٹا فیصلہ، بغیر نمبر والا کوئی دعویٰ۔ یہ ایک فلٹر ہے، فیصلہ نہیں۔ ناموں کے لیے عربی named entity extraction والی span جانچ دوبارہ استعمال کریں: خلاصے سے entities نکالیں اور یقینی بنائیں کہ ہر ایک ماخذ میں موجود ہے۔
لمبی عربی دستاویزات کا خلاصہ کیسے بنائیں؟
اگر متن کانٹیکسٹ ونڈو میں آرام سے آ جاتا ہے تو پورا بھیجیں۔ Qwen3.8 27B فی درخواست 262,144 ٹوکن لیتا ہے اور GLM 5.3 1,048,576، پرامپٹ اور جواب ملا کر؛ Gemma 4 VL 26B 32,768 لیتا ہے۔ لیکن لمبے ان پٹ کی ایک معروف کمزوری ہے: ماڈلز لمبے کانٹیکسٹ کے بیچ والے حقائق کو کم بھروسے سے استعمال کرتے ہیں (lost in the middle)۔ لمبی رپورٹ کے لیے ہر حصے کا خلاصہ بنائیں، پھر خلاصوں کا خلاصہ، اور آخری پرامپٹ میں حصوں کے عنوانات رکھیں۔ میٹنگ والی پوسٹ جوڑنے کا مرحلہ کوڈ میں دکھاتی ہے؛ لمبا کانٹیکسٹ بمقابلہ RAG بتاتی ہے کہ کب retrieval بہتر ہے۔
عربی خلاصوں کا جائزہ کیسے لیں؟
تین تہیں استعمال کریں: regressions پکڑنے کے لیے خودکار overlap اسکور، دوسری رائے کے لیے semantic اسکور، اور فیصلے کے لیے انسان۔
ROUGE، درست ٹوکنائزر کے ساتھ۔ Google کا rouge-score پیکیج (ورژن 0.1.2، 16 نومبر 2026 کو بھی PyPI پر موجودہ ریلیز) متن کو lowercase کرتا ہے اور a–z اور 0–9 سے باہر کے ہر حرف کو space سے بدل دیتا ہے۔ عربی غائب ہو جاتی ہے۔ ہم نے جانچا:
import re
from rouge_score import rouge_scorer
ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"
print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure) # 0.0
class ArabicTokenizer:
"""Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
def __init__(self, strip_prefixes=False):
self.strip = strip_prefixes
def tokenize(self, text):
text = re.sub(r"[ً-ٰٟـ]", "", text)
text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
toks = re.findall(r"\w+", text)
if self.strip: # crude: drop و/ب/ل/ال prefixes on longer words
toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
return toks
for strip in (False, True):
s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3)) # False 0.6, True 0.8
وہی دو جملے صرف tokenization کی بنیاد پر 0، 0.6 یا 0.8 اسکور کرتے ہیں۔ اصل سبق یہی ہے: عربی کی صرف (للنقل بمقابلہ النقل، بإضافة بمقابلہ تضيف) ROUGE کو بہت ہلاتی ہے، اس لیے ٹوکنائزر بتائے بغیر کوئی اسکور بے معنی ہے۔ XL-Sum کے مصنفین زبان کے مطابق stemming والا ایک کثیر لسانی ROUGE fork شائع کرتے ہیں، جس میں عربی بھی شامل ہے؛ اسے یا اپنا ٹوکنائزر استعمال کریں، اور جن runs کا موازنہ کرتے ہیں ان سب میں اسے ایک جیسا رکھیں۔
BERTScore embeddings کے ذریعے معنی کا موازنہ کرتا ہے، اس لیے پیرافریز برداشت کر لیتا ہے۔ انگریزی اور چینی کے علاوہ زبانوں کے لیے اس کا ڈیفالٹ ماڈل bert-base-multilingual-cased ہے۔ اسے دوسرا اشارہ سمجھیں، پڑھنے کا متبادل نہیں۔
انسان، ایک rubric کے ساتھ۔ کسی عربی قاری سے 50 سے 100 خلاصوں کو تین سوالوں پر اسکور کروائیں: کیا کچھ اہم چھوٹا ہے، کیا کچھ ایسا کہا گیا ہے جو ماخذ نہیں کہتا، اور کیا زبان کا انداز درست ہے۔ ایک LLM judge بڑی مقدار میں پہلی چھانٹی کر سکتا ہے، جب ایک نمونے پر اس کے اسکور آپ کے قارئین سے ملنے لگیں۔ سوئچ کرنے سے پہلے LLM کا جائزہ وہ سیٹ بنانا بتاتا ہے۔
عوامی ریفرنس ڈیٹا کے لیے:
| ڈیٹاسیٹ | اس میں کیا ہے | نوٹس |
|---|---|---|
| XL-Sum عربی | BBC عربی کے 46,897 مضمون اور خلاصے کے جوڑے (37,519 / 4,689 / 4,689) | CC BY-NC-SA 4.0: صرف غیر تجارتی تحقیق |
| EASC | 153 مضامین، ہر ایک کے ساتھ انسانوں کے بنائے پانچ extractive خلاصے | چھوٹا؛ Wikipedia اور دو اخبارات |
| LANS | 22 عرب اخبارات سے خلاصوں سمیت 8.4 ملین مضامین، 1999 سے 2019 | خلاصے سائٹ کے metadata سے آتے ہیں |
تینوں MSA خبریں ہیں۔ آپ کے سپورٹ ٹکٹس اور رپورٹس نہیں ہیں، اس لیے اصل ٹیسٹ آپ کے اپنے متن کا ایک نمونہ ہے، جس کا خلاصہ کسی انسان نے بنایا ہو۔
کون سا BroadNet ماڈل استعمال کریں، اور لاگت کتنی ہے؟
پائلٹ کے لیے Gemma 4 VL 26B $5 کے ابتدائی کریڈٹ پر چلتا ہے، فی دس لاکھ ٹوکن $0.10 ان پٹ اور $0.22 آؤٹ پٹ پر؛ اس کی 32,768 ٹوکن کی ونڈو میں زیادہ تر اکیلے مضامین آ جاتے ہیں۔ Qwen3.8 27B، جسے BroadNet رواں عربی تحریر اور خلیجی و مصری لہجے کی سمجھ کے لیے ٹیسٹ کرنے کی رپورٹ کرتا ہے، ٹاپ اپ کے بعد $0.175 ان پٹ اور $2.17 آؤٹ پٹ کا ہے۔ جب ایک دستاویز Qwen کی ونڈو سے لمبی ہو، تب GLM 5.3 استعمال کریں۔
1,000 ٹوکن والے 10,000 مضامین کا حساب، 150 ٹوکن کے خلاصوں کے ساتھ: 10 ملین ان پٹ ٹوکن اور 1.5 ملین آؤٹ پٹ ٹوکن، تو Qwen3.8 27B پر یہ 10 × $0.175 جمع 1.5 × $2.17 ہے۔ ریزننگ ٹوکن شامل کریں، جو آؤٹ پٹ کے طور پر بل ہوتے ہیں، اور کوئی بھی دوبارہ کوشش؛ دونوں کو ایک نمونے پر usage بلاک سے ناپیں۔ اگر ہر مضمون کے لیے پرامپٹ ایک ہی ہے، تو اسے سب سے پہلے رکھیں تاکہ وہ کیشڈ ان پٹ ریٹ پر بل ہو سکے۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference خلاصے کا مرحلہ ایک OpenAI-compatible API سے دیتا ہے، اس لیے اوپر کا کوڈ OpenAI Python SDK کے ساتھ چلتا ہے۔ اس کی دستاویزات کہتی ہیں کہ درخواست کے بعد پرامپٹس اور جوابات محفوظ نہیں رکھے جاتے۔ یہ اپنا کوئی عربی خلاصہ نویسی benchmark شائع نہیں کرتا، اور یہاں کچھ بھی اس کے ماڈلز پر خلاصے کا معیار نہیں ناپتا؛ اوپر کی جانچیں اپنے متن پر چلائیں۔ بولے گئے ان پٹ کے لیے اسے BroadNet Transcribe Arabic کے ساتھ جوڑیں، جیسا میٹنگ منٹس پوسٹ میں ہے۔
