انوائسز، رسیدیں اور فارمز، سب کا مسئلہ ایک ہے: ڈیٹا تصویر میں ہے، اور آپ کو وہ ڈیٹا بیس میں چاہیے۔ ٹیمپلیٹ والا OCR ہر نئے وینڈر لے آؤٹ پر ٹوٹ جاتا ہے۔ vision-language ماڈل صفحہ پڑھتا ہے اور سیدھے فیلڈز لوٹاتا ہے۔ مشکل یہ ہے کہ وہ پورے اعتماد کے ساتھ غلط ہو سکتا ہے، اس لیے اصل کام اس کے گرد کی پائپ لائن میں ہے۔ یہ پوسٹ کسی بھی زبان کے لیے عمومی پائپ لائن بتاتی ہے۔ عربی دستاویزات کے لیے سیٹ اپ وژن سے عربی انوائسز پڑھنا میں ہے، اور کلاسک OCR کب بہتر ٹول ہے، یہ عربی OCR بمقابلہ وژن LLMs میں۔
پائپ لائن کیسی نظر آتی ہے؟
- ہر صفحہ تیار کریں: PDFs کو تصاویر میں رینڈر کریں، گھماؤ ٹھیک کریں، سائز کم کریں۔
- نکالیں: ہر دستاویز کے لیے ایک درخواست، فیلڈ بہ فیلڈ پرامپٹ کے ساتھ، صرف JSON۔
- جانچیں: parse، اسکیما کی جانچ، جمع کی جانچ۔
- توثیق ناکام ہو تو ایرر میسج کے ساتھ ایک بار retry کریں۔
- جائزہ: جو اب بھی ناکام ہو، وہ تصویر اور مسودے کے ساتھ کسی انسان کے پاس جائے۔
- لیبل شدہ سیمپل پر فیلڈز کی درستگی ناپیں، اور ماڈل یا پرامپٹ بدلنے پر ہر بار دوبارہ چلائیں۔
دستاویز کی تصاویر کیسے تیار کریں؟
PDFs کو PyMuPDF سے تصاویر میں رینڈر کریں، اور ضرورت سے زیادہ پکسلز بھیجے بغیر سب سے چھوٹا متن واضح رکھیں:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
BroadNet Inference پر تصاویر پیغام میں درست MIME ٹائپ والے data: URLs کی شکل میں جاتی ہیں، اور استعمال کے مطابق ادائیگی پر ان کا بل ان پٹ ٹوکنز کے طور پر بنتا ہے؛ بڑی تصاویر زیادہ ٹوکن لیتی ہیں۔ usage بلاک سے ایک بار فی صفحہ ٹوکن ناپیں اور اسی سے اپنے بیچ کا سائز طے کریں؛ بھیجنے سے پہلے ٹوکن گننا طریقہ بتاتا ہے، اور فی تصویر وژن LLM لاگت ٹوکنز کو فی صفحہ لاگت میں بدلتا ہے۔ کچھ بھی بھیجنے سے پہلے فی صفحہ ٹوکنز کا اندازہ لگانے کے لیے ایک نمونہ اسکین امیج ٹوکن کیلکولیٹر میں ڈالیں۔
extraction پرامپٹ کیسے لکھیں؟
keys، ٹائپس، فارمیٹس اور غائب قدروں کے بارے میں بالکل درست رہیں۔ اگر آپ کو توثیق کے لیے، یا اسکیما نافذ کرنے والے فراہم کنندگان کے لیے، JSON Schema بھی چاہیے تو مفت JSON schema generator ایک نمونہ انوائس سے اسے بنا دیتا ہے:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
“Never guess” اور واضح لکھا null سب سے زیادہ اہم ہیں۔ ان کے بغیر ماڈلز خالی جگہوں کو قابلِ یقین لگنے والی قدروں سے بھر دیتے ہیں، جو خالی چھوڑنے سے بدتر ہے، کیونکہ ایسی قدر سادہ جانچ سے گزر جاتی ہے۔
structured output کیسے حاصل کریں اور اس کی توثیق کیسے کریں؟
structured output کے دو درجے ہیں۔ JSON mode درست JSON کی ضمانت دیتا ہے۔ اسکیما کا پابند آؤٹ پٹ اس کی شکل کی بھی ضمانت دیتا ہے۔ OpenAI کی گائیڈ صاف کہتی ہے: دونوں درست JSON بناتے ہیں، مگر اسکیما کی پابندی صرف Structured Outputs یقینی بناتا ہے۔ دونوں کی سپورٹ فراہم کنندہ اور ماڈل کے لحاظ سے بدلتی ہے، اس لیے API کچھ بھی وعدہ کرے، کوڈ میں توثیق کریں:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
رقم کے لیے float نہیں، Decimal استعمال کریں۔ max_tokens کھلا رکھیں: Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتا ہے، اور ریزننگ حد میں گنی جاتی ہے؛ چھوٹی حد خالی اسٹرنگ لوٹاتی ہے۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔
کون سی جانچیں سب سے زیادہ غلطیاں پکڑتی ہیں؟
| جانچ | کیا پکڑتی ہے | لاگت |
|---|---|---|
| JSON parse ہوتا ہے | JSON کے گرد نثر، کٹا ہوا آؤٹ پٹ | مفت |
| اسکیما کی توثیق ہوتی ہے | غائب keys، غلط ٹائپس | مفت |
| لائنیں جمع ہو کر subtotal بنتی ہیں | غلط پڑھے ہندسے، چھوٹی ہوئی لائنیں | مفت |
| subtotal + ٹیکس = total | غلط پڑھا total یا ٹیکس | مفت |
| تاریخ parse ہوتی ہے اور مستقبل کی نہیں | دن/مہینے کا الٹ پھیر، OCR کا شور | مفت |
| وینڈر کا ٹیکس ID آپ کی سپلائر لسٹ سے ملتا ہے | غلط وینڈر، دھوکا دہی | ایک lookup |
| ہر وینڈر کے لیے دہرایا گیا انوائس نمبر | دوہری ادائیگی | ایک query |
جمع کی جانچ سب سے فائدہ مند ہے: ایک بھی غلط پڑھا ہندسہ تقریباً ہمیشہ جمع بگاڑ دیتا ہے۔ رسیدوں میں اکثر لائن کی سطح کی تفصیل نہیں ہوتی، اس لیے جو موجود ہے اسے جانچیں اور ان کے لیے کم جانچیں قبول کریں۔
لائیو جانے سے پہلے درستگی کیسے ناپیں؟
50 سے 100 حقیقی دستاویزات ہاتھ سے لیبل کریں، پائپ لائن چلائیں، اور ہر فیلڈ کا اسکور نکالیں، ہر دستاویز کا نہیں۔ ٹوٹلز اور تاریخوں کے لیے تفصیل سے سخت معیار رکھیں۔ تین نمبر ٹریک کریں: فیلڈز کی درستگی، retry کے بغیر توثیق پاس کرنے والی دستاویزات کا حصہ، اور جائزے کے لیے بھیجی گئی دستاویزات کا حصہ۔ وہ جائزے کا قدم کیسے ڈیزائن کریں، پاس ہونے والی دستاویزات کے بے ترتیب آڈٹ سمیت، یہ انسانی جائزے کو اپنے document AI ورک فلو کا حصہ بنانا میں ہے۔ جب کوئی دوسرا ماڈل آزمائیں تو وہی سیٹ چلائیں؛ طریقہ بدلنے سے پہلے LLM کی جانچ میں ہے۔
BroadNet Inference پر کون سے وژن ماڈلز فٹ ہوتے ہیں؟
| ماڈل | تصاویر | کانٹیکسٹ | نوٹس |
|---|---|---|---|
| Qwen3.8 27B | ہاں | 262,144 | ٹولز، structured output اور ریزننگ درج؛ BroadNet نے عربی میں ٹیسٹ کیا |
| Gemma 4 VL 26B | ہاں | 32,768 | BroadNet کی سب سے کم قیمت؛ مفت کریڈٹ اور گھنٹے والی کلید پر چلتا ہے |
| DeepSeek V4.1 Flash | ہاں | 1,048,576 | لامحدود پلانز میں تصاویر شامل |
فی 1M ٹوکن قیمتیں قیمتوں کے صفحے پر ہیں؛ فی صفحہ ناپے گئے ٹوکنز کو ماہانہ مقدار سے LLM API لاگت کیلکولیٹر میں ضرب دیں۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference تین چیٹ ماڈلز پر معیاری OpenAI پیغام فارمیٹ کے ذریعے تصاویر لیتا ہے، اور درخواست کے بعد پرامپٹس، تصاویر یا جوابات نہیں رکھتا، جو ناموں، ٹیکس IDs اور بینک تفصیلات سے بھری انوائسز کے لیے اہم ہے (zero data retention)۔ اس کی دستاویزات Qwen3.8 27B کے لیے structured output درج کرتی ہیں مگر اسکیما پیرامیٹرز دستاویز نہیں کرتیں، اس لیے اپنا اسکیما نافذ کروانے کے لیے API کے بجائے اوپر والی توثیق کی تہہ پر بھروسہ کریں۔ BroadNet کوئی تصویر سائز کی حد یا الگ document-AI پروڈکٹ شائع نہیں کرتا، اور اس کی دستاویزات PDF اپ لوڈ نہیں بلکہ تصویر ان پٹ بیان کرتی ہیں، اس لیے پہلے صفحات کو تصاویر میں رینڈر کریں۔ مقررہ بجٹ پر بڑی مقدار والے رنز کے لیے لامحدود DeepSeek V4.1 Flash پلان میں تصاویر شامل ہیں۔

