BroadRouter

استخراج الكيانات المسماة من النص العربي بنموذج LLM: JSON والتواريخ

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر

اطلب من النموذج نسخ كل كيان كما ورد تمامًا، مع نوع من قائمة ثابتة، بصيغة JSON. افحص كل كيان بالشيفرة: يجب أن يظهر في المصدر بعد حذف التشكيل وتوحيد صور الألف. حوّل التواريخ الهجرية بمكتبة مثل hijridate لا بالنموذج. وقيّم عينة موسومة يدويًا بالدقة والاستدعاء وF1 على مستوى الكيان.

يحوّل استخراج الكيانات المسماة الفقرةَ إلى سجلات تستطيع شيفرتك استخدامها: من، وأي مؤسسة، وأين، ومتى. وتضيف العربية أربع مشكلات نادرًا ما تواجهها مسارات المعالجة الإنجليزية: التشكيل الاختياري، وتعدد كتابات الحرف الواحد، والأسماء المكتوبة بحروف لاتينية (العربيزي)، والتواريخ بتقويمين. يبني هذا المقال خطوة استخراج على نموذج LLM متوافق مع OpenAI تعالج كل مشكلة منها بالشيفرة، مع شيفرة تقييم تخبرك إن كانت تعمل على نصوصك.

لتصنيف الرسائل كاملة بدل استخراج مقاطع منها، راجع تصنيف النصوص العربية. ولخيارات طلب JSON نفسها، راجع وضع JSON مقابل json_schema.

ما مدى جودة نماذج LLM في التعرّف على الكيانات العربية؟

أكثر قياس عام وجدناه صلةً بالموضوع هو LAraBench (Abdelali وآخرون، EACL 2024)، الذي شغّل GPT-3.5 وGPT-4 على مجموعات كيانات عربية بوصفها وسمًا رمزًا برمز. القيم بمقياس macro-F1، والأعلى أفضل:

مجموعة البيانات GPT-3.5 دون أمثلة GPT-4 دون أمثلة GPT-4 بثلاثة أمثلة النظام المضبوط بدقة المذكور
ANERcorp (أخبار) 0.210 0.355 0.420 0.886
AQMAR (ويكيبيديا) 0.230 0.365 0.390 0.690
QASR (نصوص مفرّغة) 0.208 0.504 غير متاح 0.698

ساعدت الأمثلة الإضافية: ارتفع GPT-4 على ANERcorp من 0.355 دون أمثلة إلى 0.451 بعشرة أمثلة. واضطر المؤلفون أيضًا إلى إعادة ربط الوسوم التي كتبها النموذج بصيغته الخاصة، مثل PER-B بدل B-PER.

اقرأ هذا بحذر. هذه نماذج من 2023 تؤدي مهمة وسم صارمة على مجموعات تصنيف معيارية. وقد يؤدي نموذج حالي يُطلب منه قائمة قصيرة بالأشخاص والشركات في تذكرة دعم أداءً أفضل بكثير، وقد لا يفعل. يخبرك الجدول بأمرين ما زالا صحيحين: نموذج LLM ليس تلقائيًا نظامًا جيدًا للتعرّف على الكيانات، وأنت تحتاج قياسك الخاص.

ما مجموعات بيانات الكيانات العربية المتاحة؟

مجموعة البيانات النص الحجم والتصنيفات
ANERcorp أخبار نحو 150,000 رمز؛ شخص، مكان، مؤسسة، متفرقات. وينشر CAMeL Lab تقسيمًا معياريًا للتدريب والاختبار
CLEANANERCorp ANERcorp مصحَّحة تصلح أخطاء الوسم والتصنيفات الناقصة وحالات عدم الاتساق الموجودة في الأصل
AQMAR ويكيبيديا العربية 74,000 رمز من 28 مقالًا
Wojood الفصحى واللهجات نحو 550,000 رمز، و21 نوعًا من الكيانات، متداخلة؛ استُخدمت في المهمة المشتركة WojoodNER 2023
CANERCorpus أحاديث بالعربية الكلاسيكية أكثر من 7,000 حديث، و20 نوعًا في موضوعات إسلامية

استخدمها للتحقق المبدئي من الأمر، لا اختبارًا للقبول. فأنواع الكيانات لديك (عميل، منتج، فرع، رقم عقد) ستختلف عن أنواعها، وتراخيصها مختلفة أيضًا. راجع كلًّا منها قبل الاستخدام التجاري.

ماذا يجب أن يطلب الأمر؟

ثلاث قواعد تجعل المخرجات قابلة للفحص:

  1. انسخ المقطع كما هو تمامًا. لا ترجمة، ولا كتابة بحروف لاتينية، ولا «إكمال» الاسم الأول إلى اسم كامل. وإن احتجت تهجئة إنجليزية فاطلبها في حقل منفصل وتعامل معها على أنها غير مُتحقَّق منها.
  2. قائمة أنواع مغلقة. PERSON وORG وLOCATION وDATE، أو مجموعتك الخاصة. الأنواع الحرة لا يمكن تقييمها.
  3. التواريخ أجزاءً لا تحويلات. اطلب السنة والشهر واليوم كما وردت، مع التقويم. فحرف هـ في الآخر يدل على تاريخ هجري، وحرف م يدل على الميلادي.

اكتب التعليمات بالإنجليزية أو بالعربية؛ ويشرح مقال هندسة الأوامر بالعربية المفاضلة بينهما. ضع شكل JSON في الأمر النظامي (system prompt) وأبقِه متطابقًا بين الطلبات ليمكن تخزينه مؤقتًا.

كيف تفحص الكيانات مقابل المصدر؟

قد يعيد النموذج اسمًا لا يذكره النص أبدًا، أو ينسخ اسمًا بشكل صحيح لكن دون تشكيله. والاختبار البسيط للسلسلة الجزئية لا يميّز بين الحالتين. وحّد الطرفين أولًا: احذف التشكيل والتطويل، ووحّد صور الألف، وألصق «عبد ال» ليطابق عبد الله عبدالله. القواعد هي نفسها الواردة في توحيد النص العربي للبحث، مطبّقةً على المطابقة فقط. واحتفظ بالمقطع الأصلي للعرض.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

شغّلنا هذه الشيفرة على خادم محاكاة محلي (دون استدعاء حي للـ API)، أضاف ردُّه المُعدّ مسبقًا شخصًا مختلَقًا واحدًا وتاريخًا مستحيلًا واحدًا (الشهر 13). احتفظت المخرجات بـ خالد بن سعيد (أسقط الرد التشكيل، ومع ذلك وجدته المطابقة الموحّدة)، وشركة النخيل للتقنية، وجدة. وحوّلت ١٥ جمادى الآخرة ١٤٤٥هـ إلى 2023-12-28، وذكرت مشكلتين: الاسم المختلَق «not in source»، والشهر 13 أطلق الخطأ «month must be in 1-12». الأسماء والشركة خيالية.

ملاحظات على الشيفرة:

  • max_tokens=2000 يترك مجالًا للاستدلال المنطقي. تذكر وثائق BroadNet أن DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تُجري استدلالًا منطقيًا قبل الإجابة، وأن هذا الاستدلال يُحتسب ضمن max_tokens. راجع الردود الفارغة من نماذج الاستدلال المنطقي.
  • قد يفشل json.loads. غلّفه، وعند الفشل أعد الإرسال مرة واحدة مع الخطأ، كما في حلقة الإصلاح. ومع GLM 5.3 وQwen3.8 27B، اللذين توثّق BroadNet دعمهما للمخرجات المنظَّمة، أضف أيضًا مخطط response_format. ويبقى التحقق في الحالتين.
  • مطابقة السلسلة الجزئية متساهلة عمدًا. فهي تؤكد وجود المقطع، ولا تؤكد نوعه. والأنواع هي ما تقيسه خطوة التقييم أدناه.

كيف تتعامل مع التواريخ الهجرية؟

يكتب النص العربي التواريخ بطرق كثيرة: ١٥/٦/١٤٤٥هـ، أو ١٥ جمادى الآخرة ١٤٤٥، أو تاريخ ميلادي بأسماء أشهر تختلف بحسب المنطقة (نوفمبر في مصر والخليج، وتشرين الثاني في الشام). يستطيع النموذج عادةً تقسيمها إلى أجزاء، والشيفرة تفحص الأجزاء. أما التحويل بين التقويمين فعملية حسابية على جدول منشور، ولا سبب يجعل النموذج يصيب فيها.

تحوّل hijridate، المعروفة سابقًا باسم hijri-converter، باستخدام تقويم أم القرى. ونطاقها الموثّق من 1343 إلى 1500 هـ (من 1 أغسطس 1924 إلى 16 نوفمبر 2077 م). خارج النطاق تطلق OverflowError، ومع شهر أو يوم غير صالح تطلق ValueError، ولهذا تلتقط الشيفرة الاثنين. وتذكر وثائقها أنها غير مخصصة للأغراض الدينية التي تُفضَّل فيها رؤية الهلال، لذا قد يختلف التاريخ المحدد بالرؤية عن القيمة المحوّلة. خزّن التاريخ كما ورد بجانب التاريخ المحوّل.

لا تحتاج الأرقام العربية المشرقية هنا إلى معالجة خاصة: فالنموذج يعيد أعدادًا صحيحة. وإن حللت التواريخ بنفسك، فحوّل ٠١٢٣٤٥٦٧٨٩ (والأرقام الفارسية ۰–۹) إلى 0–9 أولًا.

ماذا عن الأسماء بالعربيزي والنصوص المختلطة؟

كثيرًا ما تكتب رسائل العملاء الأسماء بحروف لاتينية: “ana 7a2ool la Mo7ammad bokra”. تظل قاعدة المقطع الحرفي تعمل: نص الكيان هو “Mo7ammad”، وفحص السلسلة الجزئية ينجح. أما ما يفشل فهو مطابقة هذا السجل مع محمد في نظام إدارة العملاء (CRM) لديك. نفّذ ذلك في خطوة ثانية: حوّل المقطع إلى الحروف العربية، كما في التعامل مع العربيزي، ثم طابقه مع سجلاتك بقواعد التوحيد نفسها. وأبقِ علامة ثقة على أي سجل مرّ بتحويل.

وينطبق الأمر نفسه على أسماء الشركات الإنجليزية داخل الجمل العربية، وعلى التهجئات اللاتينية للأسماء العربية (Mohammed وMuhammad وMohamed). لا تطلب من خطوة الاستخراج اختيار تهجئة واحدة.

كيف تقيّم أداة الاستخراج؟

اوسم يدويًا 100 إلى 200 عينة حقيقية، بقائمة الأنواع نفسها. ثم قارن التوقعات بالتطابق التام على مستوى الكيان للنص الموحّد والنوع، واذكر الدقة (precision) والاستدعاء (recall) وF1 لكل نوع:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

على مجموعة تجريبية من جملتين (ثلاثة كيانات مرجعية؛ صنّف التوقع جدة على أنها ORG بدل LOCATION وأضاف مكانًا زائدًا)، طبعت الشيفرة دقة micro قدرها 0.5، واستدعاء 0.667، وF1 ‏0.571، وF1 لنوع LOCATION صفرًا. يوضح لك العرض بحسب النوع أين تبذل الجهد: فضعف نتيجة ORG يعني عادةً أن تعريفات أنواعك تحتاج أمثلة، لا نموذجًا أكبر.

حدّد مسبقًا ما يُعدّ تطابقًا. التطابق التام صارم: «شركة النخيل» مقابل مرجع «شركة النخيل للتقنية» يُحتسب إيجابيًا خاطئًا واحدًا وسلبيًا خاطئًا واحدًا. إن كانت المقاطع الجزئية مقبولة لاستخدامك، فاذكر نتيجة ثانية مبنية على التداخل، لكن أبقِ النتيجة الصارمة هي الرئيسية.

أي نموذج من BroadNet تستخدم؟

كل الأسعار لكل مليون رمز (توكن)، من صفحة أسعار BroadNet.

النموذج السبب الإدخال / الإخراج
Qwen3.8 27B دعم المخرجات المنظَّمة موثّق؛ تذكر BroadNet أنها اختبرته بالعربية، بما في ذلك فهم اللهجتين الخليجية والمصرية؛ يقرأ الصور $0.175 / $2.17
GLM 5.3 دعم المخرجات المنظَّمة موثّق؛ سياق من 1,048,576 رمزًا للمستندات الطويلة جدًا $0.78 / $3.46
Gemma 4 VL 26B يعمل على الرصيد الابتدائي $5؛ لا دعم موثّق للمخرجات المنظَّمة، فتحقق من JSON الناتج عن الأمر وحده؛ سياق من 32,768 رمزًا $0.10 / $0.22

شغّل شيفرة التقييم على عينتك مع كل مرشّح، واختر بناءً على F1 لكل نوع وعلى التكلفة، لا على وصف المزوّد. تستهلك العربية عادةً رموزًا أكثر من الإنجليزية للمحتوى نفسه؛ ويعرض مقال عدد الرموز لكل كلمة في العربية نسبًا مقيسة. وللكيانات داخل النماذج الممسوحة ضوئيًا أو الصور، استخرجها من الصورة مباشرة، كما في قراءة الفواتير العربية بالرؤية الحاسوبية.

أين تأتي BroadNet Inference

BroadRouter هو موقع BroadNet نفسها. تمنحك BroadNet Inference وصولًا متوافقًا مع OpenAI إلى النماذج أعلاه بمفتاح واحد، فتعمل الشيفرة مع OpenAI Python SDK بعد تغيير عنوان base URL. تذكر وثائقها أن الأوامر والإجابات لا يُحتفظ بها بعد الطلب، وهذا مهم حين يمتلئ النص بأسماء الناس. ليست لديها نقطة نهاية مخصصة للتعرّف على الكيانات، ولا تنشر معيارًا خاصًا بها للكيانات العربية، فقِس على بياناتك. وإن احتجت أداة وسم مستضافة ذاتيًا لحجم كبير، فقد يكون نموذج مضبوط بدقة ومدرَّب على Wojood أو على تصنيفاتك أرخص وأكثر اتساقًا من أي LLM؛ والفجوة المنشورة أعلاه هي سبب التحقق.

أسئلة شائعة

هل يستطيع نموذج LLM التعرّف على الكيانات المسماة في النص العربي؟

نعم، مع الفحوص. النتائج المنشورة دون أمثلة في وسم الكيانات العربية على مستوى الرموز تتأخر كثيرًا عن النماذج المضبوطة بدقة، لذا تحقق من كل كيان مقابل النص المصدر وقيّم النموذج على عينة موسومة من بياناتك قبل أن تعتمد عليه.

كيف أطابق الأسماء العربية المشكولة وغير المشكولة؟

وحّد الطرفين قبل المقارنة: احذف التشكيل (U+064B إلى U+065F) والألف الخنجرية والتطويل، وحوّل إ أ آ ٱ إلى ا وى إلى ي، واختصر المسافات. احتفظ بالنص الأصلي للعرض، واستخدم الصيغة الموحّدة للمطابقة فقط.

كيف أحوّل التاريخ الهجري إلى ميلادي بلغة Python؟

استخدم hijridate (المعروفة سابقًا باسم hijri-converter): الاستدعاء Hijri(1445, 6, 15).to_gregorian() يعيد 2023-12-28. تتبع المكتبة تقويم أم القرى، وتدعم من 1343 إلى 1500 هـ، وليست مخصصة للمواعيد الدينية التي تُحدَّد برؤية الهلال.

ما مجموعات بيانات الكيانات العربية التي أختبر عليها؟

ANERcorp (أخبار، نحو 150,000 رمز، أربعة أنواع)، وAQMAR (‏74,000 رمز من ويكيبيديا)، وWojood (نحو 550,000 رمز من الفصحى واللهجات مع 21 نوعًا متداخلًا)، وCANERCorpus (أحاديث بالعربية الكلاسيكية، 20 نوعًا). راجع ترخيص كل منها، وطابق تصنيفاتها مع تصنيفاتك.

هل يجب أن يترجم النموذج الأسماء أو يكتبها بحروف لاتينية؟

ليس في خطوة الاستخراج. اطلب المقطع المصدر كما هو تمامًا لتتمكن من التحقق منه. وأضف حقلًا منفصلًا للتهجئة اللاتينية إن احتجت إليها، وتعامل معه على أنه غير مُتحقَّق منه.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity