Named entity extraction ایک پیراگراف کو ایسے ریکارڈز میں بدلتا ہے جنہیں آپ کا کوڈ استعمال کر سکے: کون، کون سا ادارہ، کہاں اور کب۔ عربی چار ایسے مسائل شامل کرتی ہے جو انگریزی پائپ لائنز کو کم ہی ملتے ہیں: اختیاری اعراب، ایک ہی حرف کی کئی املائیں، لاطینی حروف میں لکھے نام (Arabizi)، اور دو کیلنڈروں میں تاریخیں۔ یہ پوسٹ ایک OpenAI-compatible LLM پر extraction کا مرحلہ بناتی ہے جو ان میں سے ہر ایک کو کوڈ میں سنبھالتا ہے، اور ایک اسکورنگ اسکرپٹ جو بتاتی ہے کہ یہ آپ کے متن پر کام کرتا ہے یا نہیں۔
پیغامات سے spans نکالنے کے بجائے پورے پیغام کی درجہ بندی کے لیے عربی متن کی classification دیکھیں۔ JSON درخواست کے آپشنز کے لیے JSON mode بمقابلہ json_schema دیکھیں۔
LLMs عربی NER میں کتنے اچھے ہیں؟
ہمیں ملنے والی سب سے متعلقہ عوامی پیمائش LAraBench (Abdelali et al., EACL 2024) ہے، جس نے GPT-3.5 اور GPT-4 کو عربی NER سیٹس پر ٹوکن بہ ٹوکن tagging کے طور پر چلایا۔ Macro-F1، زیادہ بہتر ہے:
| ڈیٹاسیٹ | GPT-3.5 zero-shot | GPT-4 zero-shot | GPT-4 3-shot | حوالہ دیا گیا fine-tuned سسٹم |
|---|---|---|---|---|
| ANERcorp (خبریں) | 0.210 | 0.355 | 0.420 | 0.886 |
| AQMAR (Wikipedia) | 0.230 | 0.365 | 0.390 | 0.690 |
| QASR (ٹرانسکرپٹس) | 0.208 | 0.504 | n/a | 0.698 |
زیادہ مثالوں سے مدد ملی: ANERcorp پر GPT-4 بغیر مثالوں کے 0.355 سے دس مثالوں کے ساتھ 0.451 تک پہنچا۔ مصنفین کو ماڈل کے اپنے فارمیٹ میں لکھے ٹیگز بھی دوبارہ میپ کرنے پڑے، جیسے B-PER کی جگہ PER-B۔
اسے احتیاط سے پڑھیں۔ یہ 2023 کے ماڈلز ہیں جو benchmark لیبل سیٹس پر سخت tagging کا کام کر رہے ہیں۔ کسی سپورٹ ٹکٹ میں لوگوں اور کمپنیوں کی مختصر فہرست مانگنے پر موجودہ ماڈل کہیں بہتر کر سکتا ہے، یا نہیں بھی۔ جدول دو باتیں بتاتا ہے جو اب بھی درست ہیں: LLM خود بخود اچھا NER سسٹم نہیں، اور آپ کو اپنی پیمائش چاہیے۔
کون سے عربی NER ڈیٹاسیٹس موجود ہیں؟
| ڈیٹاسیٹ | متن | سائز اور لیبلز |
|---|---|---|
| ANERcorp | خبریں | تقریباً 150,000 ٹوکن؛ person، location، organisation، miscellaneous۔ CAMeL Lab ایک معیاری train/test split شائع کرتی ہے |
| CLEANANERCorp | ANERcorp، درست شدہ | اصل میں ملنے والی annotation کی غلطیاں، چھوٹے لیبلز اور بے ربطیاں درست کرتا ہے |
| AQMAR | عربی Wikipedia | 28 مضامین سے 74,000 ٹوکن |
| Wojood | MSA اور لہجہ | تقریباً 550,000 ٹوکن، 21 entity اقسام، nested؛ WojoodNER 2023 shared task میں استعمال ہوا |
| CANERCorpus | کلاسیکی عربی احادیث | 7,000 سے زیادہ احادیث، اسلامی موضوعات پر 20 اقسام |
انہیں پرامپٹ کی ابتدائی جانچ کے لیے استعمال کریں، اپنے acceptance ٹیسٹ کے طور پر نہیں۔ آپ کی entity اقسام (گاہک، پروڈکٹ، برانچ، کنٹریکٹ نمبر) ان سے مختلف ہوں گی، اور ان کے لائسنس بھی مختلف ہیں۔ تجارتی استعمال سے پہلے ہر ایک جانچیں۔
پرامپٹ میں کیا مانگیں؟
تین اصول آؤٹ پٹ کو جانچنے کے قابل بناتے ہیں:
- span بالکل ویسے ہی نقل کریں۔ نہ ترجمہ، نہ transliteration، نہ پہلے نام کو “مکمل” کر کے پورا نام بنانا۔ اگر انگریزی املا چاہیے تو الگ فیلڈ میں مانگیں اور اسے غیر تصدیق شدہ سمجھیں۔
- اقسام کی بند فہرست۔ PERSON، ORG، LOCATION، DATE، یا آپ کا اپنا سیٹ۔ کھلی اقسام اسکور نہیں کی جا سکتیں۔
- تاریخیں حصوں میں، بدلی ہوئی نہیں۔ سال، مہینہ اور دن جیسے لکھے ہیں ویسے مانگیں، ساتھ میں کیلنڈر۔ آخر میں هـ ہجری تاریخ بتاتا ہے؛ م عیسوی۔
ہدایات انگریزی یا عربی میں لکھیں؛ عربی پرامپٹ انجینئرنگ اس کا نفع نقصان بتاتی ہے۔ JSON کی شکل system پرامپٹ میں رکھیں اور ہر درخواست میں ایک جیسی رکھیں تاکہ وہ کیش ہو سکے۔
Entities کو ماخذ سے کیسے جانچیں؟
ماڈل ایسا نام لوٹا سکتا ہے جس کا متن میں ذکر ہی نہیں، یا نام درست نقل کرے لیکن اعراب کے بغیر۔ سادہ substring ٹیسٹ ان دونوں میں فرق نہیں کر سکتا۔ پہلے دونوں طرف نارملائز کریں: تشکیل اور تطویل ہٹائیں، الف کی شکلیں یکساں کریں، اور عبد ال کو جوڑیں تاکہ عبد الله اور عبدالله ملیں۔ اصول وہی ہیں جو سرچ کے لیے عربی متن کی نارملائزیشن میں ہیں، صرف ملان پر لاگو۔ دکھانے کے لیے اصل span رکھیں۔
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
ہم نے اسے ایک مقامی mock سرور پر چلایا (کوئی live API کال نہیں)، جس کے طے شدہ جواب میں ایک گھڑا ہوا شخص اور ایک ناممکن تاریخ (مہینہ 13) شامل تھی۔ آؤٹ پٹ نے خالد بن سعيد (جواب میں اعراب ہٹ گئے تھے؛ نارملائزڈ ملان نے پھر بھی اسے پا لیا)، شركة النخيل للتقنية اور جدة رکھے۔ اس نے ١٥ جمادى الآخرة ١٤٤٥هـ کو 2023-12-28 میں بدلا، اور دو مسائل بتائے: گھڑا ہوا نام “not in source” (ترجمہ: ماخذ میں نہیں) تھا، اور مہینہ 13 نے “month must be in 1-12” (ترجمہ: مہینہ 1-12 میں ہونا چاہیے) اٹھایا۔ نام اور کمپنی فرضی ہیں۔
کوڈ پر نوٹس:
max_tokens=2000ریزننگ کے لیے جگہ چھوڑتا ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور وہ ریزننگmax_tokensمیں گنی جاتی ہے۔ دیکھیں ریزننگ ماڈلز سے خالی جوابات۔json.loadsناکام ہو سکتا ہے۔ اسے لپیٹیں، اور ناکامی پر error کے ساتھ ایک بار دوبارہ بھیجیں، جیسا repair loop میں ہے۔ GLM 5.3 اور Qwen3.8 27B پر، جنہیں BroadNet structured output کے ساتھ دستاویز کرتا ہے، ایکresponse_formatschema بھی شامل کریں۔ validation دونوں صورتوں میں رہتی ہے۔- Substring ملان جان بوجھ کر ڈھیلا ہے۔ یہ تصدیق کرتا ہے کہ span موجود ہے؛ قسم کی تصدیق نہیں کرتا۔ اقسام وہی ہیں جنہیں نیچے کا اسکورنگ مرحلہ ناپتا ہے۔
ہجری تاریخیں کیسے سنبھالیں؟
عربی متن تاریخیں کئی طرح لکھتا ہے: ١٥/٦/١٤٤٥هـ، ١٥ جمادى الآخرة ١٤٤٥، یا ایسی عیسوی تاریخ جس کے مہینوں کے نام علاقے کے لحاظ سے بدلتے ہیں (مصر اور خلیج میں نوفمبر، شام کے علاقے میں تشرين الثاني)۔ ماڈل عموماً انہیں حصوں میں بانٹ سکتا ہے، اور کوڈ حصوں کو جانچتا ہے۔ کیلنڈروں کے بیچ تبدیلی ایک شائع شدہ جدول پر حساب ہے، اور ماڈل کے پاس اسے درست کرنے کی کوئی وجہ نہیں۔
hijridate، پہلے hijri-converter، ام القریٰ کیلنڈر سے تبدیل کرتا ہے۔ اس کی دستاویزی حد 1343 سے 1500 ہجری (1 اگست 1924 سے 16 نومبر 2077 عیسوی) ہے۔ حد سے باہر یہ OverflowError اٹھاتا ہے؛ غلط مہینہ یا دن ValueError اٹھاتا ہے، اسی لیے کوڈ دونوں پکڑتا ہے۔ اس کی دستاویزات کہتی ہیں کہ یہ ان مذہبی مقاصد کے لیے نہیں جہاں رؤیتِ ہلال کو ترجیح دی جاتی ہے، اس لیے چاند دیکھ کر طے ہوئی تاریخ تبدیل شدہ قدر سے مختلف ہو سکتی ہے۔ تاریخ جیسی لکھی ہے، اسے تبدیل شدہ تاریخ کے ساتھ محفوظ کریں۔
مشرقی عربی ہندسوں کے لیے یہاں کچھ خاص نہیں کرنا: ماڈل integers لوٹاتا ہے۔ اگر آپ تاریخیں خود parse کرتے ہیں تو پہلے ٠١٢٣٤٥٦٧٨٩ (اور فارسی ۰–۹) کو 0–9 میں بدلیں۔
Arabizi اور ملے جلے متن میں ناموں کا کیا؟
گاہکوں کے پیغامات اکثر نام لاطینی حروف میں لکھتے ہیں: “ana 7a2ool la Mo7ammad bokra”۔ عین span والا اصول پھر بھی کام کرتا ہے: entity کا متن “Mo7ammad” ہے، اور substring جانچ پاس ہوتی ہے۔ جو ناکام ہوتا ہے وہ اس ریکارڈ کو آپ کے CRM کے محمد سے ملانا ہے۔ یہ دوسرے مرحلے میں کریں: span کو عربی رسم الخط میں بدلیں، جیسا Arabizi سنبھالنے میں ہے، پھر اسی نارملائزیشن کے ساتھ اپنے ریکارڈز سے ملائیں۔ تبدیلی سے گزر کر آنے والے ہر ریکارڈ پر confidence فلیگ رکھیں۔
یہی بات عربی جملوں کے اندر انگریزی کمپنی ناموں پر، اور عربی ناموں کی لاطینی املاؤں (Mohammed، Muhammad، Mohamed) پر لاگو ہوتی ہے۔ extraction کے مرحلے سے ایک املا چننے کو نہ کہیں۔
Extractor کا اسکور کیسے نکالیں؟
100 سے 200 اصل نمونے ہاتھ سے لیبل کریں، اسی اقسام کی فہرست کے ساتھ۔ پھر نارملائزڈ متن اور قسم پر entity کی سطح کے exact match سے predictions کا موازنہ کریں، اور ہر قسم کے لیے precision، recall اور F1 رپورٹ کریں:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
دو جملوں کے ایک چھوٹے سیٹ پر (تین gold entities؛ prediction نے جدة کو LOCATION کی جگہ ORG بتایا اور ایک اضافی جگہ شامل کی)، اس نے micro precision 0.5، recall 0.667 اور F1 0.571 پرنٹ کیا، اور LOCATION F1 صفر۔ ہر قسم کا الگ منظر دکھاتا ہے کہ محنت کہاں لگانی ہے: کمزور ORG اسکور کا مطلب عموماً یہ ہے کہ آپ کی اقسام کی تعریفوں کو مثالیں چاہییں، بڑا ماڈل نہیں۔
پہلے سے طے کریں کہ ملان کسے گنیں گے۔ exact match سخت ہے: gold “شركة النخيل للتقنية” کے مقابلے میں “شركة النخيل” ایک false positive اور ایک false negative گنا جاتا ہے۔ اگر آپ کے کام کے لیے جزوی spans قابلِ قبول ہیں تو overlap پر مبنی دوسرا اسکور رپورٹ کریں، لیکن مرکزی عدد سخت والا ہی رکھیں۔
کون سا BroadNet ماڈل استعمال کریں؟
تمام قیمتیں فی دس لاکھ ٹوکن ہیں، BroadNet کے قیمتوں کے صفحے سے۔
| ماڈل | کیوں | ان پٹ / آؤٹ پٹ |
|---|---|---|
| Qwen3.8 27B | structured output دستاویزی؛ BroadNet رپورٹ کرتا ہے کہ اسے عربی میں ٹیسٹ کیا گیا، خلیجی اور مصری لہجے کی سمجھ سمیت؛ تصاویر پڑھتا ہے | $0.175 / $2.17 |
| GLM 5.3 | structured output دستاویزی؛ بہت لمبی دستاویزات کے لیے 1,048,576 ٹوکن کا کانٹیکسٹ | $0.78 / $3.46 |
| Gemma 4 VL 26B | $5 کے ابتدائی کریڈٹ پر چلتا ہے؛ structured output دستاویزی نہیں، اس لیے صرف پرامپٹ سے بنے JSON کو validate کریں؛ 32,768 ٹوکن کا کانٹیکسٹ | $0.10 / $0.22 |
ہر امیدوار کے ساتھ اپنے نمونے پر اسکورنگ اسکرپٹ چلائیں اور ہر قسم کے F1 اور لاگت کی بنیاد پر چنیں، وینڈر کی تفصیل کی بنیاد پر نہیں۔ ایک جیسے مواد کے لیے عربی عموماً انگریزی سے زیادہ ٹوکن لیتی ہے؛ ناپے گئے تناسب عربی میں فی لفظ ٹوکن میں ہیں۔ اسکین شدہ فارمز یا تصاویر کے اندر کی entities کے لیے براہِ راست تصویر سے نکالیں، جیسا vision سے عربی انوائسز پڑھنے میں ہے۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference اوپر کے ماڈلز تک ایک کلید سے OpenAI-compatible رسائی دیتا ہے، اس لیے base URL بدلنے کے بعد کوڈ OpenAI Python SDK کے ساتھ چلتا ہے۔ اس کی دستاویزات کہتی ہیں کہ درخواست کے بعد پرامپٹس اور جوابات محفوظ نہیں رکھے جاتے، جو تب اہم ہے جب متن لوگوں کے ناموں سے بھرا ہو۔ اس میں کوئی مخصوص NER اینڈپوائنٹ نہیں اور یہ اپنا کوئی عربی NER benchmark شائع نہیں کرتا، اس لیے اپنے ڈیٹا پر ناپیں۔ اگر بڑی مقدار کے لیے self-hosted tagger چاہیے تو Wojood یا آپ کے اپنے لیبلز پر ٹرین ہوا fine-tuned ماڈل کسی بھی LLM سے سستا اور زیادہ یکساں ہو سکتا ہے؛ اوپر کا شائع شدہ فرق اسے جانچنے کی وجہ ہے۔
