BroadRouter

المراجعة البشرية جزء من سير عمل الذكاء الاصطناعي للمستندات

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر · آخر تحديث

اعتبر كل مستند مستخرَج غير معتمد حتى تنجح القواعد. أحِله إلى شخص إذا غاب حقل إلزامي، أو لم تتطابق المجاميع، أو بدا التاريخ أو المورّد خاطئًا، أو لم يكن النموذج واثقًا. وراجِع كذلك نسبة عشوائية صغيرة من المستندات السليمة، وسجّل كل تصحيح في نظامك، وتابع نسبة المراجعة ونسبة الأخطاء في عينات التدقيق.

يستطيع نموذج الرؤية قراءة الفاتورة، لكنه قد يخطئ في قراءة رقم، أو يتخطّى سطرًا، أو يخترع حقلًا غير موجود. والعلاج ليس أمرًا أفضل فحسب، بل خطوة مراجعة مصمَّمة من اليوم الأول: قواعد تقرّر أي المستندات يراها شخص، وطابور يخبره بالسبب، وسجل يتيح لك إثبات نسبة الأخطاء.

يتناول هذا المقال تلك الخطوة. أما الاستخراج نفسه (تجهيز الصور، وأمر JSON، والتحقق من المخطط، وإعادة المحاولة) ففي مقال استخراج البيانات من المستندات بنموذج LLM للرؤية، وقراءة النصوص العربية تحديدًا في دليل قراءة الفواتير العربية بنماذج الرؤية. نفترض هنا أنك تحصل على JSON بالفعل وتحتاج إلى تقرير ما يمكن الوثوق به.

ما الذي يجب أن يقرّر إحالة المستند إلى مراجعة بشرية؟

قواعد يمكنك اختبارها برمجيًا، لا انطباع عن النموذج. ابدأ بهذه، مرتّبة حسب قيمتها:

القاعدة مثال على رمز السبب لماذا تهمّ
حقل إلزامي مفقود missing:total القيمة الفارغة صادقة؛ أما القيمة المخمَّنة فأسوأ
المجاميع غير متطابقة arithmetic:subtotal+tax!=total رقم واحد مقروء خطأً يكسر المجموع في الغالب
البنود لا يساوي مجموعها المجموع الفرعي arithmetic:lines!=subtotal تكشف الأسطر المتخطّاة أو المكرّرة
التاريخ لا يُحلَّل أو خارج النطاق date:unparsed تكشف تبادل اليوم والشهر وتشويش OCR
رقم ضريبي لمورّد غير معروف vendor:unknown الموردون الجدد والاحتيال يبدآن كلاهما من هنا
عملة غير متوقعة currency:unexpected رمز مقروء خطأً يغيّر المبلغ
النموذج يقول إنه غير متأكد model:not_confident تلميح، وليس البوابة الوحيدة أبدًا

قراران في التصميم يجعلان الطابور قابلًا للاستخدام. الأول: كل قاعدة تُنتج رمز سبب قصيرًا وثابتًا، فيفتح المراجع المستند وهو يعرف ما يفحصه، وتستطيع أنت عدّ القواعد الأكثر انطباقًا. والثاني: المستند إما ينجح في كل القواعد وإما يذهب إلى شخص. تجنّب الدرجات الموزونة التي لا يستطيع أحد شرحها لمدقّق.

هل تثق بدرجة ثقة النموذج؟

تعامل معها كإشارة ضعيفة. يمكنك أن تطلب من النموذج تقييم كل حقل بثقة عالية أو متوسطة أو منخفضة، وسيفعل. لكن Xiong وآخرين (ICLR 2024) قارنوا طرق استخلاص الثقة من نماذج LLM ووجدوا أن النماذج “tend to be overconfident” (الترجمة: تميل إلى المبالغة في الثقة) حين تصرّح بمدى تأكدها؛ وقد ساعدت الأوامر الأفضل وأخذ العينات، ولم تتفوّق أي طريقة على غيرها بثبات. واحتمالات الرموز اللوغاريتمية (log-probabilities) خيار آخر في بعض الواجهات، لكن المرجع التقني لواجهة BroadNet لا يوثّق logprobs، فلا تبنِ تصميمك عليها هناك.

القاعدة العملية: أي تقييم من النموذج دون «high»، أو غياب التقييم أصلًا، يرسل المستند إلى المراجعة، لكن «high» لا يتخطّى الفحوص البرمجية أبدًا. وبعد بضع مئات من المستندات المراجَعة، تحقّق مما إذا كانت الحقول المصنّفة «high» قد احتاجت فعلًا إلى تصحيحات أقل. وإن لم يكن الأمر كذلك، فاستغنِ عن هذه الإشارة.

كيف توجّه المستندات إلى طابور؟

يعمل هذا الموجّه بعد الاستخراج والتحقق. يوحّد الأرقام العربية الهندية، ويطبّق القواعد أعلاه، ويختار واحدًا من ثلاثة طوابير: review أو audit_sample أو auto. وهو Python بسيط بلا أي استدعاء لواجهة API، فيمكنك كتابة اختبارات وحدة له.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

اختبرناه على ثلاث فواتير سعودية مختلَقة (المورّد والرقم الضريبي وهميّان). الفاتورة السليمة، وتاريخها ومجموعها الفرعي مكتوبان بأرقام عربية هندية (٢٠٢٦-١١-٠٢ و١٬٠٠٠٫٠٠)، ذهبت إلى auto. والفاتورة نفسها بعد قراءة الإجمالي خطأً على أنه 1,105.00 ذهبت إلى review مع arithmetic:subtotal+tax!=total. وفاتورة برقم ضريبي غير معروف، وشهر رقمه 13، وثقة «medium» ذهبت إلى review بثلاثة أسباب: date:unparsed وvendor:unknown وmodel:not_confident. وعند فرض السحب العشوائي تحت 0.05 ذهبت الفاتورة السليمة إلى audit_sample.

حدّان يجب معرفتهما. الدالة المساعدة money() تفترض أن الفاصل العشري نقطة أو الفاصل العشري العربي؛ أما الصيغة الأوروبية “1.150,00” فتحتاج إلى محلّل خاص بها يُختار حسب بلد المورّد. وقاعدة التاريخ تفترض أن النموذج أعاد تواريخ بصيغة ISO. التواريخ الهجرية تحتاج إلى تحويل أولًا، كما في مقال استخراج الكيانات المسمّاة من النصوص العربية.

ما الذي يتغيّر مع الفواتير العربية والإنجليزية؟

الفواتير ثنائية اللغة شائعة في الخليج: تسميات عربية وإنجليزية جنبًا إلى جنب، ومبالغ بأرقام غربية أو عربية هندية، واسم المورّد بخطّين. بعض القواعد تساعد:

  • وحّد الأرقام قبل أي فحص. حوّل ٠–٩ والأرقام الفارسية ۰–۹ إلى 0–9، والفاصلين العربيين العشري والآلاف (٫ و٬) إلى صيغتيهما في ASCII. ثم قارن.
  • طابق الموردين بالرقم الضريبي لا بالاسم. نادرًا ما يطابق الاسمان العربي والإنجليزي سجلّك الرئيسي حرفًا بحرف. رقم التسجيل يطابقه.
  • أبقِ الاسمين أمام المراجع. اعرض اسمَي المورّد العربي والإنجليزي المستخرجين بجانب السجل الرئيسي، على أن يكون العربي في كتلة معزولة من اليمين إلى اليسار. ويتناول مقال تصميم المنتجات متعددة اللغات العرض ثنائي الاتجاه.
  • تحقّق من وجود فاتورة منظَّمة. تطبّق هيئة الزكاة والضريبة والجمارك (ZATCA) في السعودية الفوترة الإلكترونية (فاتورة) على مرحلتين، من 4 ديسمبر 2021 ومن 1 يناير 2023، وهي مبنية على فواتير بصيغة إلكترونية منظَّمة. إذا استطاع المورّد إرسالها إليك، فحلّلها بدل قراءة صورة منها، واترك الرؤية للورق والصور الفوتوغرافية والحالات النادرة.

ويتناول مقال التعرّف الضوئي على النص العربي بنموذج LLM للرؤية جانب القراءة: التشكيل، والخطوط المختلطة، والتخطيط.

ما الذي يجب أن يراه المراجع؟

شاشة المراجعة الجيدة تجيب عن سؤال واحد لكل رمز سبب. في arithmetic اعرض البنود والمجموع الفرعي والضريبة والإجمالي جنبًا إلى جنب مع المجموع المحسوب. وفي vendor:unknown اعرض الرقم الضريبي المستخرج وأقرب السجلات الرئيسية إليه. وفي date:unparsed اعرض نص التاريخ الخام والجزء المقصوص من الصورة الذي جاء منه.

اعرض الصورة بجانب الحقول، لا في تبويب آخر. ودع المراجع يصحّح حقلًا، أو يعتمد المستند، أو يرفضه لأنه غير مقروء. وسجّل الإجراء الذي اتخذه. فـ«غير مقروء» بيانات مفيدة: إذا كان 10% من مستندات مورّد ما غير مقروءة، فاطلب من ذلك المورّد ملفات PDF، لا معجزة من نموذجك.

لماذا تأخذ عينات من مستندات نجحت في كل القواعد؟

لأن القواعد لا تكشف إلا الأخطاء التي فكّرت فيها. إذا أخطأ النموذج في قراءة بند والمجموع الفرعي والإجمالي بالمقدار نفسه (رقم 7 ملطّخ قُرئ 1 في المواضع الثلاثة)، فستظل كل المجاميع متطابقة ولن تنطبق أي قاعدة. والطريقة الوحيدة لاكتشاف هذه الأخطاء هي النظر في مستندات لم يُبلِّغ عنها أحد.

خذ العينات عشوائيًا لا انتقائيًا، وتابع عدد ما احتاج منها إلى تصحيح. العينة الصغيرة تعطي نطاقًا واسعًا. فبفترة Wilson بثقة 95%، التي يصفها دليل NIST للنسب (مستشهدًا بتوصيات Agresti وCoull، وBrown وCai وDasGupta)، تعطي شيفرة المقاييس أدناه:

مستندات مدقَّقة دون العثور على أي خطأ قد تصل نسبة الأخطاء الحقيقية مع ذلك إلى
50 نحو 7.1%
300 نحو 1.3%

إذن «دقّقنا 50 ولم نجد شيئًا» لا تعني أن نسبة الأخطاء أقل من 1%. كبّر العينة بعد أي تغيير في الأمر أو النموذج أو نوعية المستندات، وصغّرها ببطء.

كيف تحتفظ بسجل تدقيق؟

سجّل التصحيحات في نظامك أنت. يحتاج كل مستند إلى صف يحتوي على:

  • بصمة SHA-256 للملف المصدر (ومكان تخزين الملف نفسه، وفق قواعد الاحتفاظ لديك)؛
  • معرّف النموذج، وإصدار الأمر، وJSON الخام الذي أعاده النموذج؛
  • معرّف الطلب لدى المزود (تعيده BroadNet في ترويسة X-Request-ID) لأسئلة الدعم؛
  • نتائج القواعد والطابور؛
  • المراجع، والوقت، والإجراء، والقيمة قبل التصحيح وبعده لكل حقل مصحَّح.

ويزداد هذا أهمية مع واجهة API لا تحتفظ بالبيانات. يقول بيان الخصوصية لدى BroadNet إن بوابتها لا تحتفظ بأي أوامر أو صور أو ردود أو نصوص مفرّغة، وإنها تحتفظ فقط بسجلات الحساب والفوترة والحركة والأمان الخالية من المحتوى. هذا جيد للفواتير الحساسة، لكنه يعني أن أحدًا لدى المزود لن يستطيع أن يريك ما رآه النموذج أو قاله الشهر الماضي. سجلّك هو السجل الوحيد. وأبقِه خاليًا مما لا تحتاج إليه؛ ويتناول مقال تسجيل استخدام LLM API ما يُسجَّل وما يُحجَب.

كيف تقيس نسبة المراجعة؟

شغّل هذا أسبوعيًا على سجل التوجيه، بعد ضمّ التصحيحات إليه:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

على أسبوع اصطناعي من 1,000 مستند (760 آليًا، و190 للمراجعة، و50 مدقَّقة احتاج 2 منها إلى تصحيح)، أبلغت الشيفرة عن نسبة مراجعة 0.19، وعن vendor بوصفه السبب الأول بـ120 مرة، وعن نسبة أخطاء مدقَّقة بين 1.1% و13.5%. وهذا النطاق الأخير هو الجواب الصادق عن سؤال «ما مدى دقة الأتمتة؟» بهذا الحجم من العينة.

اقرأ الأرقام الثلاثة معًا:

  • نسبة المراجعة تنخفض والأخطاء المدقَّقة ثابتة: كانت قاعدة ما صارمة أكثر من اللازم، أو تحسّن النموذج. هذا جيد.
  • نسبة المراجعة تنخفض والأخطاء المدقَّقة ترتفع: قاعدة ما متساهلة أكثر من اللازم. شدّدها قبل أن تصل الأخطاء إلى دفتر حساباتك.
  • سبب واحد يطغى: عالج السبب. إذا تصدّر vendor:unknown فحدّث سجل الموردين الرئيسي؛ وإذا تصدّر arithmetic فانظر في جودة الصور أو جرّب نموذجًا آخر على المستندات نفسها بالطريقة الواردة في تقييم نموذج LLM قبل الانتقال إليه.

أين يأتي دور BroadNet Inference؟

BroadRouter هو موقع BroadNet نفسها. تقدّم BroadNet Inference ثلاثة نماذج محادثة تقبل الصور، وفق ملف الأسعار: Qwen3.8 27B ($0.175 للإدخال / $2.17 للإخراج لكل مليون رمز (توكن)، مع توثيق المخرجات المنظَّمة)، وGemma 4 VL 26B ($0.10 / $0.22، ويمكن استخدامه ضمن الرصيد الابتدائي $5)، وDeepSeek V4.1 Flash ($0.175 / $0.52). في الدفع حسب الاستخدام تُحتسب الصور رموزَ إدخال؛ وتساعدك حاسبة رموز الصور على تقديرها. لا يُحتفظ بمحتوى الاستدلال؛ ويُحتفظ ببيانات الحساب والفوترة والأمان الوصفية الضرورية كما يبيّن بيان الخصوصية لدى BroadNet. ولا توفّر BroadNet طابور مراجعة ولا سجل تدقيق، فالتوجيه والسجلات الموصوفة أعلاه عليك أنت بناؤها والاحتفاظ بها.

أسئلة شائعة

ما الذي يجب إحالته إلى المراجعة البشرية عند استخراج بيانات الفواتير؟

كل ما يفشل في قاعدة: حقل إلزامي مفقود، أو بنود أو ضريبة لا يساوي مجموعها الإجمالي، أو تاريخ لا يمكن تحليله أو خارج النطاق، أو مورّد غير معروف، أو عملة غير متوقعة، أو ثقة من النموذج دون «high». وأضِف عينة عشوائية صغيرة من المستندات التي نجحت في كل القواعد.

هل أستطيع الاعتماد على درجة ثقة النموذج لتخطّي المراجعة؟

ليس وحدها. وجدت أبحاث الثقة المصرَّح بها (Xiong وآخرون، ICLR 2024) أن نماذج LLM تميل إلى المبالغة في الثقة. استخدمها إشارةً واحدة إلى جانب الفحوص البرمجية، وتحقّق على بياناتك المصنّفة مما إذا كانت «high» تعني فعلًا أخطاء أقل.

كم مستندًا معتمدًا آليًا يجب أن أدقّق؟

ما يكفي لحصر نسبة الأخطاء التي تهمّك. عند عدم العثور على أي خطأ، تحصر 50 مستندًا مدقَّقًا النسبة الحقيقية عند نحو 7% (الحد الأعلى لفترة Wilson بثقة 95%)، وتحصرها 300 عند نحو 1.3%. وكبّر العينة كلما تغيّرت قاعدة أو أمر أو نموذج.

ما نسبة المراجعة المناسبة؟

لا يوجد رقم واحد يصلح للجميع. ابدأ بنسبة مرتفعة، ثم خفّضها فقط ما دامت نسبة الأخطاء المدقَّقة في المستندات المعتمدة آليًا ضمن ما تتحمّله. وانخفاض نسبة المراجعة مع ارتفاع الأخطاء المدقَّقة يعني أن قاعدة ما متساهلة أكثر من اللازم.

أين يجب أن يُحفظ سجل التدقيق؟

في قاعدة بياناتك أنت. خزّن بصمة الملف المصدر، ومعرّف النموذج، وإصدار الأمر، والناتج الخام، ونتائج القواعد، والمراجع، والقيم المصحّحة. فإذا كان مزودك لا يحتفظ بمحتوى الطلبات، كما تقول BroadNet عن واجهة الاستدلال لديها، فلن يستطيع أحد غيرك إعادة بنائه لاحقًا.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity