يحوّل استخراج الكيانات المسماة الفقرةَ إلى سجلات تستطيع شيفرتك استخدامها: من، وأي مؤسسة، وأين، ومتى. وتضيف العربية أربع مشكلات نادرًا ما تواجهها مسارات المعالجة الإنجليزية: التشكيل الاختياري، وتعدد كتابات الحرف الواحد، والأسماء المكتوبة بحروف لاتينية (العربيزي)، والتواريخ بتقويمين. يبني هذا المقال خطوة استخراج على نموذج LLM متوافق مع OpenAI تعالج كل مشكلة منها بالشيفرة، مع شيفرة تقييم تخبرك إن كانت تعمل على نصوصك.
لتصنيف الرسائل كاملة بدل استخراج مقاطع منها، راجع تصنيف النصوص العربية. ولخيارات طلب JSON نفسها، راجع وضع JSON مقابل json_schema.
ما مدى جودة نماذج LLM في التعرّف على الكيانات العربية؟
أكثر قياس عام وجدناه صلةً بالموضوع هو LAraBench (Abdelali وآخرون، EACL 2024)، الذي شغّل GPT-3.5 وGPT-4 على مجموعات كيانات عربية بوصفها وسمًا رمزًا برمز. القيم بمقياس macro-F1، والأعلى أفضل:
| مجموعة البيانات | GPT-3.5 دون أمثلة | GPT-4 دون أمثلة | GPT-4 بثلاثة أمثلة | النظام المضبوط بدقة المذكور |
|---|---|---|---|---|
| ANERcorp (أخبار) | 0.210 | 0.355 | 0.420 | 0.886 |
| AQMAR (ويكيبيديا) | 0.230 | 0.365 | 0.390 | 0.690 |
| QASR (نصوص مفرّغة) | 0.208 | 0.504 | غير متاح | 0.698 |
ساعدت الأمثلة الإضافية: ارتفع GPT-4 على ANERcorp من 0.355 دون أمثلة إلى 0.451 بعشرة أمثلة. واضطر المؤلفون أيضًا إلى إعادة ربط الوسوم التي كتبها النموذج بصيغته الخاصة، مثل PER-B بدل B-PER.
اقرأ هذا بحذر. هذه نماذج من 2023 تؤدي مهمة وسم صارمة على مجموعات تصنيف معيارية. وقد يؤدي نموذج حالي يُطلب منه قائمة قصيرة بالأشخاص والشركات في تذكرة دعم أداءً أفضل بكثير، وقد لا يفعل. يخبرك الجدول بأمرين ما زالا صحيحين: نموذج LLM ليس تلقائيًا نظامًا جيدًا للتعرّف على الكيانات، وأنت تحتاج قياسك الخاص.
ما مجموعات بيانات الكيانات العربية المتاحة؟
| مجموعة البيانات | النص | الحجم والتصنيفات |
|---|---|---|
| ANERcorp | أخبار | نحو 150,000 رمز؛ شخص، مكان، مؤسسة، متفرقات. وينشر CAMeL Lab تقسيمًا معياريًا للتدريب والاختبار |
| CLEANANERCorp | ANERcorp مصحَّحة | تصلح أخطاء الوسم والتصنيفات الناقصة وحالات عدم الاتساق الموجودة في الأصل |
| AQMAR | ويكيبيديا العربية | 74,000 رمز من 28 مقالًا |
| Wojood | الفصحى واللهجات | نحو 550,000 رمز، و21 نوعًا من الكيانات، متداخلة؛ استُخدمت في المهمة المشتركة WojoodNER 2023 |
| CANERCorpus | أحاديث بالعربية الكلاسيكية | أكثر من 7,000 حديث، و20 نوعًا في موضوعات إسلامية |
استخدمها للتحقق المبدئي من الأمر، لا اختبارًا للقبول. فأنواع الكيانات لديك (عميل، منتج، فرع، رقم عقد) ستختلف عن أنواعها، وتراخيصها مختلفة أيضًا. راجع كلًّا منها قبل الاستخدام التجاري.
ماذا يجب أن يطلب الأمر؟
ثلاث قواعد تجعل المخرجات قابلة للفحص:
- انسخ المقطع كما هو تمامًا. لا ترجمة، ولا كتابة بحروف لاتينية، ولا «إكمال» الاسم الأول إلى اسم كامل. وإن احتجت تهجئة إنجليزية فاطلبها في حقل منفصل وتعامل معها على أنها غير مُتحقَّق منها.
- قائمة أنواع مغلقة. PERSON وORG وLOCATION وDATE، أو مجموعتك الخاصة. الأنواع الحرة لا يمكن تقييمها.
- التواريخ أجزاءً لا تحويلات. اطلب السنة والشهر واليوم كما وردت، مع التقويم. فحرف هـ في الآخر يدل على تاريخ هجري، وحرف م يدل على الميلادي.
اكتب التعليمات بالإنجليزية أو بالعربية؛ ويشرح مقال هندسة الأوامر بالعربية المفاضلة بينهما. ضع شكل JSON في الأمر النظامي (system prompt) وأبقِه متطابقًا بين الطلبات ليمكن تخزينه مؤقتًا.
كيف تفحص الكيانات مقابل المصدر؟
قد يعيد النموذج اسمًا لا يذكره النص أبدًا، أو ينسخ اسمًا بشكل صحيح لكن دون تشكيله. والاختبار البسيط للسلسلة الجزئية لا يميّز بين الحالتين. وحّد الطرفين أولًا: احذف التشكيل والتطويل، ووحّد صور الألف، وألصق «عبد ال» ليطابق عبد الله عبدالله. القواعد هي نفسها الواردة في توحيد النص العربي للبحث، مطبّقةً على المطابقة فقط. واحتفظ بالمقطع الأصلي للعرض.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
شغّلنا هذه الشيفرة على خادم محاكاة محلي (دون استدعاء حي للـ API)، أضاف ردُّه المُعدّ مسبقًا شخصًا مختلَقًا واحدًا وتاريخًا مستحيلًا واحدًا (الشهر 13). احتفظت المخرجات بـ خالد بن سعيد (أسقط الرد التشكيل، ومع ذلك وجدته المطابقة الموحّدة)، وشركة النخيل للتقنية، وجدة. وحوّلت ١٥ جمادى الآخرة ١٤٤٥هـ إلى 2023-12-28، وذكرت مشكلتين: الاسم المختلَق «not in source»، والشهر 13 أطلق الخطأ «month must be in 1-12». الأسماء والشركة خيالية.
ملاحظات على الشيفرة:
max_tokens=2000يترك مجالًا للاستدلال المنطقي. تذكر وثائق BroadNet أن DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تُجري استدلالًا منطقيًا قبل الإجابة، وأن هذا الاستدلال يُحتسب ضمنmax_tokens. راجع الردود الفارغة من نماذج الاستدلال المنطقي.- قد يفشل
json.loads. غلّفه، وعند الفشل أعد الإرسال مرة واحدة مع الخطأ، كما في حلقة الإصلاح. ومع GLM 5.3 وQwen3.8 27B، اللذين توثّق BroadNet دعمهما للمخرجات المنظَّمة، أضف أيضًا مخططresponse_format. ويبقى التحقق في الحالتين. - مطابقة السلسلة الجزئية متساهلة عمدًا. فهي تؤكد وجود المقطع، ولا تؤكد نوعه. والأنواع هي ما تقيسه خطوة التقييم أدناه.
كيف تتعامل مع التواريخ الهجرية؟
يكتب النص العربي التواريخ بطرق كثيرة: ١٥/٦/١٤٤٥هـ، أو ١٥ جمادى الآخرة ١٤٤٥، أو تاريخ ميلادي بأسماء أشهر تختلف بحسب المنطقة (نوفمبر في مصر والخليج، وتشرين الثاني في الشام). يستطيع النموذج عادةً تقسيمها إلى أجزاء، والشيفرة تفحص الأجزاء. أما التحويل بين التقويمين فعملية حسابية على جدول منشور، ولا سبب يجعل النموذج يصيب فيها.
تحوّل hijridate، المعروفة سابقًا باسم hijri-converter، باستخدام تقويم أم القرى. ونطاقها الموثّق من 1343 إلى 1500 هـ (من 1 أغسطس 1924 إلى 16 نوفمبر 2077 م). خارج النطاق تطلق OverflowError، ومع شهر أو يوم غير صالح تطلق ValueError، ولهذا تلتقط الشيفرة الاثنين. وتذكر وثائقها أنها غير مخصصة للأغراض الدينية التي تُفضَّل فيها رؤية الهلال، لذا قد يختلف التاريخ المحدد بالرؤية عن القيمة المحوّلة. خزّن التاريخ كما ورد بجانب التاريخ المحوّل.
لا تحتاج الأرقام العربية المشرقية هنا إلى معالجة خاصة: فالنموذج يعيد أعدادًا صحيحة. وإن حللت التواريخ بنفسك، فحوّل ٠١٢٣٤٥٦٧٨٩ (والأرقام الفارسية ۰–۹) إلى 0–9 أولًا.
ماذا عن الأسماء بالعربيزي والنصوص المختلطة؟
كثيرًا ما تكتب رسائل العملاء الأسماء بحروف لاتينية: “ana 7a2ool la Mo7ammad bokra”. تظل قاعدة المقطع الحرفي تعمل: نص الكيان هو “Mo7ammad”، وفحص السلسلة الجزئية ينجح. أما ما يفشل فهو مطابقة هذا السجل مع محمد في نظام إدارة العملاء (CRM) لديك. نفّذ ذلك في خطوة ثانية: حوّل المقطع إلى الحروف العربية، كما في التعامل مع العربيزي، ثم طابقه مع سجلاتك بقواعد التوحيد نفسها. وأبقِ علامة ثقة على أي سجل مرّ بتحويل.
وينطبق الأمر نفسه على أسماء الشركات الإنجليزية داخل الجمل العربية، وعلى التهجئات اللاتينية للأسماء العربية (Mohammed وMuhammad وMohamed). لا تطلب من خطوة الاستخراج اختيار تهجئة واحدة.
كيف تقيّم أداة الاستخراج؟
اوسم يدويًا 100 إلى 200 عينة حقيقية، بقائمة الأنواع نفسها. ثم قارن التوقعات بالتطابق التام على مستوى الكيان للنص الموحّد والنوع، واذكر الدقة (precision) والاستدعاء (recall) وF1 لكل نوع:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
على مجموعة تجريبية من جملتين (ثلاثة كيانات مرجعية؛ صنّف التوقع جدة على أنها ORG بدل LOCATION وأضاف مكانًا زائدًا)، طبعت الشيفرة دقة micro قدرها 0.5، واستدعاء 0.667، وF1 0.571، وF1 لنوع LOCATION صفرًا. يوضح لك العرض بحسب النوع أين تبذل الجهد: فضعف نتيجة ORG يعني عادةً أن تعريفات أنواعك تحتاج أمثلة، لا نموذجًا أكبر.
حدّد مسبقًا ما يُعدّ تطابقًا. التطابق التام صارم: «شركة النخيل» مقابل مرجع «شركة النخيل للتقنية» يُحتسب إيجابيًا خاطئًا واحدًا وسلبيًا خاطئًا واحدًا. إن كانت المقاطع الجزئية مقبولة لاستخدامك، فاذكر نتيجة ثانية مبنية على التداخل، لكن أبقِ النتيجة الصارمة هي الرئيسية.
أي نموذج من BroadNet تستخدم؟
كل الأسعار لكل مليون رمز (توكن)، من صفحة أسعار BroadNet.
| النموذج | السبب | الإدخال / الإخراج |
|---|---|---|
| Qwen3.8 27B | دعم المخرجات المنظَّمة موثّق؛ تذكر BroadNet أنها اختبرته بالعربية، بما في ذلك فهم اللهجتين الخليجية والمصرية؛ يقرأ الصور | $0.175 / $2.17 |
| GLM 5.3 | دعم المخرجات المنظَّمة موثّق؛ سياق من 1,048,576 رمزًا للمستندات الطويلة جدًا | $0.78 / $3.46 |
| Gemma 4 VL 26B | يعمل على الرصيد الابتدائي $5؛ لا دعم موثّق للمخرجات المنظَّمة، فتحقق من JSON الناتج عن الأمر وحده؛ سياق من 32,768 رمزًا | $0.10 / $0.22 |
شغّل شيفرة التقييم على عينتك مع كل مرشّح، واختر بناءً على F1 لكل نوع وعلى التكلفة، لا على وصف المزوّد. تستهلك العربية عادةً رموزًا أكثر من الإنجليزية للمحتوى نفسه؛ ويعرض مقال عدد الرموز لكل كلمة في العربية نسبًا مقيسة. وللكيانات داخل النماذج الممسوحة ضوئيًا أو الصور، استخرجها من الصورة مباشرة، كما في قراءة الفواتير العربية بالرؤية الحاسوبية.
أين تأتي BroadNet Inference
BroadRouter هو موقع BroadNet نفسها. تمنحك BroadNet Inference وصولًا متوافقًا مع OpenAI إلى النماذج أعلاه بمفتاح واحد، فتعمل الشيفرة مع OpenAI Python SDK بعد تغيير عنوان base URL. تذكر وثائقها أن الأوامر والإجابات لا يُحتفظ بها بعد الطلب، وهذا مهم حين يمتلئ النص بأسماء الناس. ليست لديها نقطة نهاية مخصصة للتعرّف على الكيانات، ولا تنشر معيارًا خاصًا بها للكيانات العربية، فقِس على بياناتك. وإن احتجت أداة وسم مستضافة ذاتيًا لحجم كبير، فقد يكون نموذج مضبوط بدقة ومدرَّب على Wojood أو على تصنيفاتك أرخص وأكثر اتساقًا من أي LLM؛ والفجوة المنشورة أعلاه هي سبب التحقق.
