एक vision मॉडल इनवॉइस पढ़ सकता है, लेकिन वह किसी अंक को ग़लत पढ़ सकता है, कोई लाइन छोड़ सकता है या ऐसा फ़ील्ड गढ़ सकता है जो वहाँ है ही नहीं। इसका इलाज सिर्फ़ बेहतर प्रॉम्प्ट नहीं है। इलाज है पहले दिन से डिज़ाइन किया गया रिव्यू चरण: ऐसे नियम जो तय करें कि इंसान कौन-से दस्तावेज़ देखेगा, ऐसी queue जो उसे वजह बताए, और ऐसा लॉग जिससे आप त्रुटि दर साबित कर सकें।
यह पोस्ट उसी चरण के बारे में है। extraction ख़ुद (इमेज की तैयारी, JSON प्रॉम्प्ट, schema वैलिडेशन और retry) vision LLM से दस्तावेज़ों से डेटा निकालने वाली पोस्ट में है, और अरबी से जुड़ी पढ़ाई vision से अरबी इनवॉइस पढ़ने वाली गाइड में। यहाँ हम मानकर चलते हैं कि आपको JSON वापस मिल रहा है और अब तय करना है कि किस पर भरोसा करें।
कौन तय करे कि किसी दस्तावेज़ को इंसान रिव्यू करेगा?
ऐसे नियम जिन्हें आप कोड में टेस्ट कर सकें, मॉडल के बारे में कोई अंदाज़ा नहीं। इन नियमों से शुरू करें, उपयोगिता के क्रम में:
| नियम | उदाहरण reason code | क्यों ज़रूरी है |
|---|---|---|
| ज़रूरी फ़ील्ड ग़ायब | missing:total |
null ईमानदार है; अंदाज़े से भरी वैल्यू उससे बदतर है |
| जोड़ मेल नहीं खाता | arithmetic:subtotal+tax!=total |
एक ग़लत पढ़ा अंक लगभग हमेशा जोड़ बिगाड़ देता है |
| लाइन आइटम जोड़कर सही नहीं बैठते | arithmetic:lines!=subtotal |
छूटी या दोहराई गई लाइनें पकड़ता है |
| तारीख़ पार्स नहीं होती या दायरे से बाहर है | date:unparsed |
दिन/महीने की अदला-बदली और OCR का शोर पकड़ता है |
| वेंडर का टैक्स ID अनजान | vendor:unknown |
नए सप्लायर और धोखाधड़ी, दोनों यहीं से शुरू होते हैं |
| अप्रत्याशित करेंसी | currency:unexpected |
ग़लत पढ़ा गया चिह्न रकम बदल देता है |
| मॉडल कहता है कि वह अनिश्चित है | model:not_confident |
एक संकेत, कभी अकेला गेट नहीं |
दो डिज़ाइन फ़ैसले queue को काम का बनाते हैं। पहला, हर नियम एक छोटा, स्थिर reason code देता है, ताकि रिव्यूअर दस्तावेज़ खोलते ही जाने कि क्या जाँचना है, और आप गिन सकें कि कौन-सा नियम सबसे ज़्यादा लगता है। दूसरा, दस्तावेज़ या तो हर नियम पास करता है या इंसान के पास जाता है। ऐसे weighted score से बचें जिन्हें कोई ऑडिटर को समझा न सके।
क्या मॉडल के confidence पर भरोसा करना चाहिए?
इसे कमज़ोर संकेत मानें। आप मॉडल से हर फ़ील्ड को high, medium या low confidence देने को कह सकते हैं, और वह दे भी देगा। लेकिन Xiong et al. (ICLR 2024) ने LLM से confidence बताने के तरीक़ों को बेंचमार्क किया और पाया कि जब मॉडल बताते हैं कि वे कितने पक्के हैं, तो वे “tend to be overconfident” (अनुवाद: ज़रूरत से ज़्यादा आश्वस्त होते हैं); बेहतर प्रॉम्प्टिंग और सैंपलिंग से मदद मिली, और कोई भी तरीक़ा लगातार बाक़ियों से बेहतर नहीं रहा। कुछ API पर टोकन log-probabilities भी एक विकल्प हैं। BroadNet का API रेफ़रंस logprobs को डॉक्यूमेंट नहीं करता, इसलिए वहाँ उन पर डिज़ाइन न टिकाएँ।
व्यावहारिक नियम: मॉडल की ओर से “high” से नीचे कुछ भी, या कोई रेटिंग न होना, दस्तावेज़ को रिव्यू में भेजता है, लेकिन “high” कभी कोड चेक नहीं छुड़वाता। कुछ सौ दस्तावेज़ रिव्यू होने के बाद जाँचें कि “high” फ़ील्ड में सच में कम सुधार हुए या नहीं। अगर नहीं हुए, तो यह संकेत हटा दें।
दस्तावेज़ों को queue तक कैसे रूट करें?
यह router extraction और वैलिडेशन के बाद चलता है। यह Arabic-Indic अंकों को normalise करता है, ऊपर के नियम लगाता है और तीन में से एक queue चुनता है: review, audit_sample या auto। यह सादा Python है, इसमें कोई API कॉल नहीं, इसलिए आप इसे unit-test कर सकते हैं।
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
हमने इसे तीन काल्पनिक सऊदी इनवॉइस पर टेस्ट किया (वेंडर और टैक्स ID काल्पनिक हैं)। एक साफ़ इनवॉइस, जिसमें तारीख़ और subtotal Arabic-Indic अंकों में लिखे थे (٢٠٢٦-١١-٠٢ और ١٬٠٠٠٫٠٠), auto में गया। वही इनवॉइस, जिसका टोटल 1,105.00 ग़लत पढ़ा गया, arithmetic:subtotal+tax!=total के साथ review में गया। एक इनवॉइस, जिसमें अनजान टैक्स ID, 13वाँ महीना और “medium” confidence था, तीन कारणों के साथ review में गया: date:unparsed, vendor:unknown और model:not_confident। रैंडम ड्रॉ को 0.05 से नीचे ज़बरदस्ती करने पर साफ़ इनवॉइस audit_sample में गया।
दो सीमाएँ जान लें। money() helper मानता है कि दशमलव विभाजक डॉट या अरबी विभाजक है; यूरोपीय “1.150,00” के लिए वेंडर के देश के आधार पर अलग parser चाहिए। और तारीख़ वाला नियम मानता है कि मॉडल ने ISO तारीख़ें लौटाईं। हिजरी तारीख़ों को पहले बदलना होगा, जैसा अरबी named entity extraction में बताया गया है।
अरबी और अंग्रेज़ी इनवॉइस के लिए क्या बदलता है?
खाड़ी देशों में द्विभाषी इनवॉइस आम हैं: अरबी और अंग्रेज़ी लेबल साथ-साथ, रकमें Western या Arabic-Indic अंकों में, और वेंडर का नाम दो लिपियों में। कुछ नियम मदद करते हैं:
- किसी भी चेक से पहले अंक normalise करें। ٠–٩ और फ़ारसी ۰–۹ को 0–9 में, और अरबी दशमलव व हज़ार विभाजक (٫ और ٬) को उनके ASCII रूपों में बदलें। फिर तुलना करें।
- वेंडर को नाम से नहीं, टैक्स ID से मिलाएँ। अरबी और अंग्रेज़ी नाम आपके मास्टर रिकॉर्ड से अक्षरशः शायद ही मेल खाते हैं। रजिस्ट्रेशन नंबर मेल खाता है।
- रिव्यूअर के लिए दोनों नाम रखें। निकाले गए अरबी और अंग्रेज़ी वेंडर नाम मास्टर रिकॉर्ड के बगल में दिखाएँ, और अरबी को दाएँ-से-बाएँ, अलग (isolated) ब्लॉक में। bidi डिस्प्ले मल्टीलिंगुअल प्रोडक्ट डिज़ाइन वाली पोस्ट में है।
- देखें कि structured इनवॉइस मौजूद है या नहीं। सऊदी अरब का ZATCA इलेक्ट्रॉनिक इनवॉइसिंग (Fatoorah) दो चरणों में चलाता है, 4 दिसंबर 2021 और 1 जनवरी 2023 से, जो structured इलेक्ट्रॉनिक फ़ॉर्मैट वाले इनवॉइस पर आधारित है। अगर सप्लायर आपको वह भेज सकता है, तो उसकी तस्वीर पढ़ने के बजाय उसे पार्स करें, और vision को काग़ज़, फ़ोटो और बाक़ी बचे कम-आम मामलों के लिए रखें।
पढ़ने वाला हिस्सा, यानी डायक्रिटिक्स, मिली-जुली लिपियाँ और लेआउट, vision LLM से अरबी OCR में है।
रिव्यूअर को क्या दिखना चाहिए?
अच्छी रिव्यू स्क्रीन हर reason code के लिए एक सवाल का जवाब देती है। arithmetic के लिए लाइन आइटम, subtotal, टैक्स और टोटल को गणना किए गए जोड़ के साथ अगल-बगल दिखाएँ। vendor:unknown के लिए निकाला गया टैक्स ID और सबसे क़रीबी मास्टर रिकॉर्ड दिखाएँ। date:unparsed के लिए तारीख़ का raw टेक्स्ट और इमेज का वह हिस्सा (crop) दिखाएँ जहाँ से वह आया।
इमेज फ़ील्ड के बगल में दिखाएँ, किसी दूसरे टैब में नहीं। रिव्यूअर को फ़ील्ड ठीक करने, मंज़ूर करने, या दस्तावेज़ को अपठनीय बताकर अस्वीकार करने दें। रिकॉर्ड करें कि उसने कौन-सा एक्शन लिया। “अपठनीय” काम का डेटा है: अगर किसी सप्लायर के 10% दस्तावेज़ अपठनीय हैं, तो उस सप्लायर से PDF माँगें, अपने मॉडल से चमत्कार नहीं।
जो दस्तावेज़ हर नियम पास कर गए, उनका सैंपल क्यों लें?
क्योंकि नियम सिर्फ़ वही त्रुटियाँ पकड़ते हैं जिनके बारे में आपने सोचा था। अगर मॉडल किसी लाइन आइटम, subtotal और टोटल को एक ही रकम से ग़लत पढ़ ले (तीनों जगह धुंधला 7 को 1 पढ़ लिया), तो हर जोड़ फिर भी मेल खाता है और कोई नियम नहीं लगता। ऐसी त्रुटियाँ खोजने का एक ही तरीक़ा है: उन दस्तावेज़ों को देखना जिन्हें किसी ने फ़्लैग नहीं किया।
उन्हें अपनी पसंद से नहीं, रैंडम चुनें, और ट्रैक करें कि कितनों को सुधार की ज़रूरत पड़ी। छोटा सैंपल चौड़ा दायरा देता है। 95% Wilson interval के साथ, जिसे NIST हैंडबुक अनुपातों के लिए बताती है (Agresti और Coull, तथा Brown, Cai और DasGupta की सिफ़ारिशों का हवाला देते हुए), नीचे का हमारा metrics कोड यह देता है:
| ऑडिट किए गए दस्तावेज़, जिनमें शून्य त्रुटि मिली | असली त्रुटि दर फिर भी इतनी तक हो सकती है |
|---|---|
| 50 | लगभग 7.1% |
| 300 | लगभग 1.3% |
तो “हमने 50 ऑडिट किए और कुछ नहीं मिला” का मतलब यह नहीं कि त्रुटि दर 1% से कम है। प्रॉम्प्ट, मॉडल या दस्तावेज़ों के मिश्रण में किसी भी बदलाव के बाद सैंपल बढ़ाएँ, और उसे धीरे-धीरे घटाएँ।
ऑडिट ट्रेल कैसे रखें?
सुधार अपने सिस्टम में रिकॉर्ड करें। हर दस्तावेज़ के लिए एक पंक्ति चाहिए, जिसमें हो:
- सोर्स फ़ाइल का SHA-256 hash (और फ़ाइल ख़ुद कहाँ स्टोर है, आपके रिटेंशन नियमों के तहत);
- मॉडल ID, प्रॉम्प्ट वर्शन और मॉडल का लौटाया raw JSON;
- सपोर्ट के सवालों के लिए प्रोवाइडर का request ID (BroadNet इसे
X-Request-IDहेडर में लौटाता है); - नियमों के नतीजे और queue;
- रिव्यूअर, समय, एक्शन, और हर सुधारे गए फ़ील्ड की पहले और बाद की वैल्यू।
ज़ीरो-रिटेंशन API के साथ यह और ज़रूरी हो जाता है। BroadNet का प्राइवेसी स्टेटमेंट कहता है कि उसका गेटवे कोई प्रॉम्प्ट, इमेज, response या ट्रांसक्रिप्ट नहीं रखता, और सिर्फ़ कंटेंट-रहित अकाउंट, बिलिंग, ट्रैफ़िक और सिक्योरिटी रिकॉर्ड रखता है। संवेदनशील इनवॉइस के लिए यह अच्छा है, लेकिन इसका मतलब है कि प्रोवाइडर की तरफ़ कोई आपको नहीं दिखा सकता कि पिछले महीने मॉडल ने क्या देखा या क्या कहा। आपका लॉग ही एकमात्र रिकॉर्ड है। उसमें ऐसा कुछ न रखें जिसकी आपको ज़रूरत नहीं; क्या लॉग करें और क्या redact करें, यह LLM API usage लॉगिंग में है।
रिव्यू दर कैसे मापें?
इसे हर हफ़्ते routing लॉग पर चलाएँ, सुधारों को join करके:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
1,000 दस्तावेज़ों के एक synthetic हफ़्ते पर (760 auto, 190 review, 50 ऑडिट जिनमें से 2 को सुधार चाहिए था), इसने 0.19 की रिव्यू दर बताई, 120 के साथ vendor को सबसे बड़ा कारण, और ऑडिट की गई त्रुटि दर 1.1% से 13.5% के बीच। यह आख़िरी दायरा ही इस सैंपल साइज़ पर “ऑटोमेशन कितना सटीक है?” का ईमानदार जवाब है।
तीनों संख्याएँ साथ पढ़ें:
- रिव्यू दर गिरे, ऑडिट की गई त्रुटियाँ स्थिर रहें: कोई नियम ज़रूरत से ज़्यादा सख़्त था, या मॉडल बेहतर हुआ। अच्छा है।
- रिव्यू दर गिरे, ऑडिट की गई त्रुटियाँ बढ़ें: कोई नियम बहुत ढीला है। त्रुटियाँ आपके लेजर तक पहुँचें, उससे पहले उसे सख़्त करें।
- एक कारण हावी हो: वजह ठीक करें। अगर
vendor:unknownसबसे आगे है, तो सप्लायर मास्टर अपडेट करें; अगरarithmeticआगे है, तो इमेज क्वालिटी देखें, या मॉडल बदलने से पहले LLM का मूल्यांकन वाली विधि से उन्हीं दस्तावेज़ों पर कोई दूसरा मॉडल आज़माएँ।
BroadNet Inference कहाँ फ़िट होता है
BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference के pricing फ़ीड के अनुसार वह इमेज लेने वाले तीन चैट मॉडल देता है: Qwen3.8 27B ($0.175 इनपुट / $2.17 आउटपुट प्रति 1M टोकन, structured output डॉक्यूमेंटेड), Gemma 4 VL 26B ($0.10 / $0.22, $5 के शुरुआती क्रेडिट पर इस्तेमाल योग्य) और DeepSeek V4.1 Flash ($0.175 / $0.52)। उपयोग के अनुसार भुगतान पर इमेज इनपुट टोकन में गिनी जाती हैं; इमेज टोकन कैलकुलेटर उनका अंदाज़ा लगाने में मदद करता है। inference कंटेंट नहीं रखा जाता; ज़रूरी अकाउंट, बिलिंग और सिक्योरिटी मेटाडेटा BroadNet के प्राइवेसी स्टेटमेंट में बताए अनुसार रखा जाता है। BroadNet कोई रिव्यू queue या ऑडिट लॉग नहीं देता, इसलिए ऊपर का routing और रिकॉर्ड आपको ख़ुद बनाने और रखने हैं।
