عربی پروف ریڈنگ ایک سطر کے پرامپٹ جیسی لگتی ہے: “اس متن کو درست کرو”۔ عملاً ماڈل جملے بھی بدل دیتا ہے، اعراب لگا دیتا ہے، لہجے کے لفظ کی جگہ رسمی لفظ رکھ دیتا ہے اور اپنی تبدیلیاں سمجھانے لگتا ہے، اور آپ نہیں بتا سکتے کہ کون سے edits ضروری تھے۔ یہ پوسٹ OpenAI-compatible LLM پر ایک ایسا تصحیح کار بناتی ہے جو کم سے کم edits کرتا ہے، جواب کو کوڈ میں جانچتا ہے، ہر edit کو غلطی کی قسم کا لیبل دیتا ہے اور پورے کام کو ویسے اسکور کرتا ہے جیسے تحقیقی benchmarks کرتے ہیں۔
LLMs عربی گرامر کی تصحیح میں کتنے اچھے ہیں؟
معیاری benchmarks QALB shared tasks ہیں۔ QALB-2014 نے Al Jazeera کی ویب سائٹ پر آنے والے جدید معیاری عربی کے تبصرے استعمال کیے: دس لاکھ سے زیادہ الفاظ کا training متن جس میں تقریباً 306,000 تصحیحات تھیں، اور تقریباً 50,000 الفاظ کے test sets۔ QALB-2015 نے ایک دوسرا track شامل کیا، جس میں عربی کو غیر ملکی زبان (L2) کے طور پر سیکھنے والوں کے مضامین تھے۔ دونوں نے M2 scorer سے سسٹمز کو edits پر اسکور کیا۔ بہترین اسکور، F1 (زیادہ بہتر ہے):
| Test set | بہترین سسٹم کا F1 | متن |
|---|---|---|
| QALB-2014 test | 67.91 | اہلِ زبان کے خبری تبصرے |
| QALB-2015 native test | 72.87 | اہلِ زبان کے خبری تبصرے |
| QALB-2015 L2 test | 41.20 | سیکھنے والوں کے مضامین |
L2 والی سطر کارآمد انتباہ ہے۔ سیکھنے والوں کے متن میں الفاظ کے انتخاب کی غلطیاں اور غائب الفاظ زیادہ ہوتے ہیں، اور بہترین سسٹم نے بھی کافی کم اسکور کیا۔ اگر آپ کے صارفین سیکھنے والے ہیں تو اپنے اعداد اسی سطر جیسے ہونے کی توقع رکھیں۔
اس کے بعد Kwon، Bhatia، Nagoudi اور Abdul-Mageed (ArabicNLP 2023) نے QALB-2014 test set پر ChatGPT اور GPT-4 چلائے۔ اسی scorer پر:
| سسٹم | F1 |
|---|---|
| ChatGPT، 1 مثال | 53.59 |
| ChatGPT، 5 مثالیں | 63.98 |
| GPT-4، 5 مثالیں | 65.49 |
| AraT5v2، fine-tuned | 67.70 |
آپ کے پرامپٹ کے لیے دو باتیں اہم ہیں۔ زیادہ مثالوں سے بہت فائدہ ہوا۔ اور zero-shot پرامپٹس اور عربی زبان کے پرامپٹس نے ایسے جواب دیے جو وضاحتوں سے بھرے تھے اور جنہیں مصنفین خودکار طور پر اسکور نہ کر سکے۔ تصحیح کار کو ایسا آؤٹ پٹ چاہیے جس کا کوئی پروگرام diff نکال سکے۔
سیدھا متن normalize کیوں نہ کریں؟
اس سائٹ کا عربی متن normalizer tashkeel اور tatweel ہٹاتا ہے، أ إ آ کو ا میں بدلتا ہے اور، چاہیں تو، ى کو ي اور ة کو ه میں۔ سرچ کے لیے یہ درست مرحلہ ہے، کیونکہ جو صارف احمد ٹائپ کرتا ہے اسے أحمد ملنا چاہیے۔ تصحیح سے پہلے یہ غلط مرحلہ ہے، کیونکہ یہ وہی فرق مٹا دیتا ہے جسے تصحیح کار نے بحال کرنا ہے۔ Normalization کے بعد انا اور أنا ایک ہی string ہیں، اس لیے ہمزہ کی غلطی غائب ہو جاتی ہے اور اس کی تصحیح بھی۔
جب دونوں چاہییں تو تین کاپیاں رکھیں: اصل متن، صارفین کو دکھایا جانے والا درست شدہ متن، اور سرچ index کے لیے درست شدہ متن کی normalize کی ہوئی کاپی۔ سرچ کے لیے عربی متن کی normalization indexing والا پہلو بیان کرتی ہے۔ ایک normalization مرحلہ تصحیح سے پہلے ضرور آتا ہے: Unicode NFC، جو ٹوٹے ہوئے الف اور combining ہمزہ کو ایک حرف میں جوڑتا ہے، تاکہ diff ایسی تبدیلی نہ بتائے جو ہے ہی نہیں۔
پرامپٹ میں کیا لکھیں؟
کم سے کم edits مانگیں، جن غلطیوں کی پروا ہے ان کے نام لکھیں، ناپسندیدہ تبدیلیاں منع کریں اور صرف درست شدہ متن مانگیں۔ ہدایات انگریزی میں لکھیں یا عربی میں، یہ آپ کی پسند ہے؛ عربی پرامپٹ انجینئرنگ اس سودے کو سمجھاتی ہے۔ Kwon et al. کو مثالوں والی انگریزی ہدایات سے قابلِ استعمال آؤٹ پٹ ملا۔ اپنے ڈیٹا سے درست کیے گئے تین سے پانچ جملوں کے جوڑے (few-shot) شامل کرنا سب سے سستی بہتری ہے، اسے پہلے آزمائیں۔
Temperature کو 0 رکھیں۔ آپ کو ہر بار ایک ہی تصحیح چاہیے۔ اگر متن مصری یا خلیجی عربی جیسے کسی لہجے میں ہے تو بتائیں کہ لہجہ رکھنا ہے یا نہیں۔ نیچے والا پرامپٹ جدید معیاری عربی (MSA) فرض کرتا ہے اور ماڈل سے انداز نہ بدلنے کو کہتا ہے، جس میں لہجہ بھی آ جاتا ہے۔
ماڈل کا جواب کیسے جانچیں؟
کوڈ ایک درخواست بھیجتا ہے، ناپتا ہے کہ جواب ان پٹ سے کتنا مختلف ہے، لفظی سطح کے edits نکالتا ہے اور ہر ایک کو لیبل دیتا ہے۔
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
ہم نے اسے پہلے سے طے شدہ جوابات والے ایک لوکل mock سرور پر چلایا (کوئی live API کال نہیں، کیونکہ mock وہی لوٹاتا ہے جو ہم نے لکھا)۔ ذهبت الى المدرسه و قابلت المعلمه في الصباح کے لیے، ذهبت إلى المدرسة وقابلت المعلمة في الصباح والے جواب نے چار edits دیے: الى سے إلى (hamza)، المدرسه سے المدرسة (taa marbuta)، و قابلت سے وقابلت (merge) اور المعلمه سے المعلمة (taa marbuta)۔ مشي الي کے لیے اس نے مشي سے مشى (alef maqsura) اور الي سے إلى (mixed orthography، کیونکہ یہ ہمزہ اور alef maqsura دونوں ایک ساتھ درست کرتا ہے) دکھائے۔ ایک طے شدہ جواب جس نے الطقس جميل اليوم کو دگنے لمبے جملے میں بدل دیا، اس کی similarity 0.52 آئی، اس لیے کوڈ نے اصل متن رکھا اور جواب log کیا۔
کوڈ پر نوٹس:
- Similarity guard ایک موٹا اوزار ہے۔ بہت غلط املا والا جملہ جائز طور پر 0.8 کے آس پاس آ سکتا ہے۔ حد اپنے ڈیٹا پر ٹیون کریں، اور مسترد جوابات ردی کی ٹوکری میں نہیں، کسی انسان کو بھیجیں۔
max_tokens=2000ریزننگ کے لیے گنجائش چھوڑتا ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے ریزننگ کرتے ہیں اور ریزننگmax_tokensمیں شمار ہوتی ہے؛ آپreasoning_effortکو low بھی کر سکتے ہیں۔ دیکھیں ریزننگ ماڈلز سے خالی جوابات۔- قسم کے لیبل اصول ہیں، parser نہیں۔ “Other” میں غائب حروف (مسؤل سے مسؤول)، مطابقت اور الفاظ کا انتخاب آتے ہیں۔ مکمل درجہ بندی کے لیے انہی جوڑوں پر ARETA (نیچے) چلائیں۔
کن error classes پر نظر رکھیں؟
QALB کے منتظمین ہمزہ والے الف اور alef maqsura/ya کی الجھن کو عربی املا کی سب سے عام غلطیاں بتاتے ہیں۔ CAMeL Lab کا error-type annotator ARETA (Belkebir اور Habash، CoNLL 2021) Arabic Learner Corpus پر مبنی tagset استعمال کرتا ہے۔ اس کے orthographic tags میں OH (hamza)، OT (ha اور taa marbuta) اور OA (alif اور ya) ہیں، ساتھ میں morphological، syntactic، semantic، punctuation، merge (MG) اور split (SP) tags۔ اس کا پیپر ہاتھ سے لیبل کیے گئے سیکھنے والوں کے متن پر 85.8% micro-average F1 بتاتا ہے۔
| قسم | غلط | درست | کیا غلط ہوتا ہے |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | ہمزہ غائب، غلط کرسی پر، یا الف کی غلط طرف |
| Taa marbuta | المدرسه | المدرسة | آخری ة کو ه لکھنا، یا الٹ |
| Alef maqsura | مشي، علي (حرفِ جر) | مشى، على | آخری ى کو ي لکھنا؛ علي ایک نام بھی ہے، اس لیے سیاق طے کرتا ہے |
| Merge یا split | و قابلت، عبدالله | وقابلت، عبد الله | و اور ال کے آس پاس اسپیس، مرکب نام |
| رموزِ اوقاف | ، یا ؟ غائب | شامل کیا گیا | QALB کے annotators رموزِ اوقاف پر سب سے کم متفق تھے |
ہر قسم کا recall دیکھیں۔ جو ماڈل taa marbuta درست کرتا ہے مگر حرفِ جر کے بعد ہمزہ چھوڑ دیتا ہے، اسے اس پیٹرن کی مثالیں چاہییں، دوسرا ماڈل نہیں۔
تصحیح کار کو کیسے اسکور کریں؟
Grammatical error correction کو edits پر اسکور کیا جاتا ہے۔ Source کو ہاتھ سے درست کیے gold جملے میں بدلنے والے edits کا موازنہ ان edits سے کریں جو اسے ماڈل کے آؤٹ پٹ میں بدلتے ہیں۔ Precision ماڈل کے ان edits کا تناسب ہے جو gold سے ملتے ہیں۔ Recall gold edits کا وہ تناسب ہے جو ماڈل نے کیے۔ QALB نے F1 بتایا؛ بعد کا کام، Kwon et al. سمیت، F0.5 بھی بتاتا ہے، جو precision کو recall سے دگنا وزن دیتا ہے، کیونکہ غلط “تصحیح” صارف کو چھوٹی ہوئی تصحیح سے زیادہ کھٹکتی ہے۔
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
سات gold edits والے دو جملوں کے نمونہ set پر، جہاں آؤٹ پٹ نے merge اور ایک taa marbuta چھوڑ دیا اور ایک full stop شامل کر دیا، اس نے P 0.833، R 0.714 اور F0.5 0.806 چھاپا، اور ہر قسم کا recall: hamza 2/2، taa marbuta 2/3، merge 0/1۔
یہ M2 والا خیال ہے، سادہ کیا ہوا۔ سرکاری M2 scorer سسٹم edits کی وہ alignment تلاش کرتا ہے جو gold سے بہترین ملے، تاکہ gold سے مختلف انداز میں edits میں بٹی درست تصحیح کو سزا نہ ملے۔ ہمارا exact match زیادہ سخت ہے۔ شائع شدہ اعداد سے موازنہ کرتے وقت سرکاری scorer استعمال کریں (اس کے developer ورژن کو اب بھی Python 2 درکار ہے)۔ ERRANT یہی edit extraction صرف انگریزی کے لیے کرتا ہے۔
Gold set اصل صارفین کے متن سے بنائیں، 100 سے 200 جملے، جنہیں ایک محتاط annotator نے انہی کم سے کم تبدیلی والے اصولوں سے درست کیا ہو جو آپ نے ماڈل کو دیے۔ ہر امیدوار ماڈل اور پرامپٹ اس پر چلائیں، اور F0.5 اور ہر قسم کا recall ملائیں۔ سوئچ کرنے سے پہلے LLM کا جائزہ کیسے لیں بتاتی ہے کہ یہ موازنہ منصفانہ طریقے سے کیسے چلائیں۔
Tibyan اور synthetic ڈیٹا کا کیا؟
لیبل شدہ عربی تصحیح ڈیٹا کم ہے۔ Alrehili اور Alhothali بتاتے ہیں کہ QALB-14 اور QALB-15 مل کر تقریباً 20,500 متوازی مثالیں رکھتے ہیں۔ ان کے Tibyan corpus (arXiv 2024، بعد میں PeerJ Computer Science میں) نے عام عربی غلطیوں پر لکھی کتابوں سے ChatGPT کے ذریعے غلط اور درست جملوں کے جوڑے بنائے، جن کا ماہرینِ لسانیات نے جائزہ لیا۔ اس میں تقریباً 600,000 ٹوکن ہیں، سات error types کے ساتھ: orthography، morphology، syntax، semantics، punctuation، merge اور split۔ مصنفین کہتے ہیں کہ corpus عوامی ہے؛ ہمیں اس کا لائسنس جانچنے کے لیے download لنک نہیں ملا۔ یہ few-shot مثالوں اور stress tests کے لیے کارآمد ہے، مگر یہ synthetic ہے، اس لیے اسے اپنے acceptance test کے طور پر استعمال نہ کریں۔
اگر آپ کو LLM کے بغیر baseline چاہیے تو CAMeL Lab کی arabic-gec repository، Alhafni et al. (EMNLP 2023) کا کوڈ اور ماڈلز شائع کرتی ہے۔ صرف املا کے لیے ar-corrector پیکج ایک یا دو edit کے اندر لغت کے الفاظ تجویز کرتا ہے؛ یہ گرامر نہیں سنبھالتا، اور اس کی آخری release 2021 میں آئی تھی۔
کون سا BroadNet ماڈل استعمال کریں؟
قیمتیں BroadNet کے قیمتوں والے صفحے سے فی دس لاکھ ٹوکن ہیں۔ تصحیح کا آؤٹ پٹ تقریباً ان پٹ جتنا لمبا ہوتا ہے، اس لیے آؤٹ پٹ کی قیمت اہم ہے۔
| ماڈل | کیوں | ان پٹ / آؤٹ پٹ |
|---|---|---|
| Qwen3.8 27B | ریزننگ documented؛ BroadNet عربی ٹیسٹنگ بتاتا ہے، جس میں خلیجی اور مصری لہجے کی سمجھ شامل ہے | $0.175 / $2.17 |
| GLM 5.3 | ریزننگ documented؛ پوری دستاویزات کے لیے لمبا کانٹیکسٹ | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | یہاں کے ریزننگ ماڈلز میں سب سے کم آؤٹ پٹ قیمت؛ مقررہ قیمت والے سیشن پلانز پر بھی | $0.175 / $0.52 |
| Gemma 4 VL 26B | $5 کے ابتدائی کریڈٹ پر چلتا ہے، اس لیے ٹاپ اپ سے پہلے پائپ لائن بنا سکتے ہیں | $0.10 / $0.22 |
ہر ماڈل کے ساتھ اپنے gold set پر scorer چلائیں اور F0.5 اور قیمت کی بنیاد پر منتخب کریں۔ عربی عموماً انگریزی سے فی لفظ زیادہ ٹوکن لیتی ہے؛ ایک نمونہ عربی ٹوکن کاؤنٹر میں پیسٹ کریں اور LLM API لاگت کیلکولیٹر سے بل کا اندازہ لگائیں۔ بڑے آرکائیو کی پروف ریڈنگ کے لیے، BroadNet کے پاس Batch API نہیں ہے؛ Batch API کے بغیر batch processing دکھاتی ہے کہ اسے محدود concurrency کے ساتھ کیسے چلائیں، یا $15 فی ہفتہ والے DeepSeek سیشن پر (ہر سیشن میں ایک وقت میں ایک درخواست)۔
BroadNet Inference کہاں فِٹ ہوتا ہے
BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference اوپر کے ماڈلز تک OpenAI-compatible رسائی دیتا ہے، اس لیے base URL بدلنے کے بعد کوڈ OpenAI Python SDK کے ساتھ چلتا ہے۔ اس کے پاس پروف ریڈنگ اینڈپوائنٹ نہیں ہے اور یہ عربی تصحیح کا اپنا کوئی benchmark شائع نہیں کرتا، اس لیے اپنے متن پر ناپیں۔ اس کا privacy statement کہتا ہے کہ inference content محفوظ نہیں رکھا جاتا، جو گاہکوں کے پیغامات پروف ریڈ کرتے وقت اہم ہے۔ اگر بہت زیادہ حجم کے لیے self-hosted تصحیح کار چاہیے تو CAMeL Lab جیسے fine-tuned ماڈلز سستے اور زیادہ یکساں ہو سکتے ہیں؛ اوپر کے شائع شدہ اسکور ہی دونوں کو ٹیسٹ کرنے کی وجہ ہیں۔
