Invois, resit dan borang semuanya mempunyai masalah yang sama: data berada dalam gambar, dan anda memerlukannya dalam pangkalan data. OCR berasaskan templat rosak pada setiap susun atur vendor baharu. Model bahasa-visi membaca halaman dan memulangkan medan secara terus. Masalahnya, ia boleh salah dengan penuh yakin, jadi kerja sebenar ada pada saluran paip di sekelilingnya. Catatan ini merangkumi saluran paip umum untuk sebarang bahasa. Untuk dokumen bahasa Arab, lihat membaca invois bahasa Arab dengan visi untuk persediaan dan OCR bahasa Arab berbanding LLM visi untuk bila OCR klasik ialah alat yang lebih baik.
Bagaimanakah rupa saluran paipnya?
- Sediakan setiap halaman: jadikan PDF sebagai imej, betulkan putaran, ubah saiz.
- Ekstrak: satu permintaan setiap dokumen dengan prompt medan demi medan, JSON sahaja.
- Sahkan: huraikan, semak skema, semak aritmetik.
- Cuba semula sekali dengan mesej ralat jika pengesahan gagal.
- Semak: apa-apa yang masih gagal pergi kepada manusia, bersama imej dan draf.
- Ukur ketepatan medan pada sampel berlabel, dan jalankan semula setiap kali anda menukar model atau prompt.
Bagaimanakah menyediakan imej dokumen?
Jadikan PDF sebagai imej dengan PyMuPDF dan pastikan teks terkecil jelas tanpa menghantar lebih banyak piksel daripada yang perlu:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
Pada BroadNet Inference, imej dimasukkan dalam mesej sebagai URL data: dengan jenis MIME yang tepat, dan pada bayar ikut guna ia dibil sebagai token input; imej lebih besar menggunakan lebih banyak. Ukur token setiap halaman sekali dengan blok usage dan tetapkan saiz kelompok anda daripada itu; mengira token sebelum menghantar menunjukkan caranya, dan kos LLM visi setiap imej menukar token kepada kos setiap halaman. Untuk menganggar token setiap halaman sebelum menghantar apa-apa, masukkan imbasan sampel ke dalam kalkulator token imej.
Bagaimanakah menulis prompt pengekstrakan?
Tepatkan kunci, jenis, format dan nilai yang tiada. Jika anda juga mahukan JSON Schema untuk pengesahan atau untuk penyedia yang menguatkuasakannya, penjana skema JSON percuma membinanya daripada invois sampel:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
“Never guess” ditambah null yang jelas paling penting. Tanpanya, model mengisi ruang kosong dengan nilai yang munasabah, yang lebih teruk daripada ruang kosong kerana ia lulus semakan yang naif.
Bagaimanakah mendapatkan output berstruktur dan mengesahkannya?
Terdapat dua tahap output berstruktur. Mod JSON menjamin JSON yang sah. Output yang dikekang skema turut menjamin bentuknya. Panduan OpenAI menyatakannya dengan jelas: kedua-duanya menghasilkan JSON yang sah, tetapi hanya Structured Outputs yang memastikan pematuhan skema. Sokongan untuk kedua-duanya berbeza mengikut penyedia dan model, jadi sahkan dalam kod tidak kira apa yang dijanjikan API:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
Gunakan Decimal, bukan float, untuk wang. Pastikan max_tokens longgar: Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam had; had yang kecil memulangkan rentetan kosong. Lihat mengapa model penaakulan memulangkan balasan kosong.
Semakan manakah yang menangkap paling banyak ralat?
| Semakan | Menangkap | Kos |
|---|---|---|
| JSON boleh dihuraikan | Prosa di sekeliling JSON, pemotongan | Percuma |
| Skema disahkan | Kunci tiada, jenis salah | Percuma |
| Baris menjumlah kepada subjumlah | Digit salah baca, baris tertinggal | Percuma |
| Subjumlah + cukai = jumlah | Jumlah atau cukai salah baca | Percuma |
| Tarikh boleh dihuraikan dan bukan pada masa depan | Hari/bulan tertukar, hingar OCR | Percuma |
| ID cukai vendor sepadan dengan senarai pembekal anda | Vendor salah, penipuan | Satu carian |
| Nombor invois berganda bagi setiap vendor | Bayaran berganda | Satu pertanyaan |
Semakan aritmetik paling berbaloi: satu digit yang salah baca hampir selalu merosakkan jumlah. Resit sering tiada butiran peringkat baris, jadi semak apa yang ada dan terima bilangan semakan yang lebih sedikit untuknya.
Bagaimanakah mengukur ketepatan sebelum dilancarkan?
Labelkan 50 hingga 100 dokumen sebenar secara manual, jalankan saluran paip, dan beri skor setiap medan, bukan setiap dokumen. Jumlah dan tarikh wajar diberi piawaian lebih ketat daripada keterangan. Jejaki tiga angka: ketepatan medan, bahagian dokumen yang lulus pengesahan tanpa cubaan semula, dan bahagian yang dihantar untuk semakan. Cara mereka bentuk langkah semakan itu, termasuk audit rawak dokumen yang lulus, ada dalam menjadikan semakan manusia sebahagian daripada aliran kerja AI dokumen anda. Apabila anda mencuba model lain, jalankan set yang sama; menilai LLM sebelum bertukar merangkumi kaedahnya.
Model visi manakah yang sesuai di BroadNet Inference?
| Model | Imej | Konteks | Nota |
|---|---|---|---|
| Qwen3.8 27B | Ya | 262,144 | Tools, output berstruktur dan penaakulan disenaraikan; diuji dalam bahasa Arab oleh BroadNet |
| Gemma 4 VL 26B | Ya | 32,768 | Harga BroadNet terendah; berjalan pada kredit percuma dan kunci sejam |
| DeepSeek V4.1 Flash | Ya | 1,048,576 | Imej termasuk dalam pelan tanpa had |
Harga setiap 1M token ada di halaman harga; darabkan token setiap halaman yang anda ukur dengan jumlah bulanan dalam kalkulator kos API LLM.
Di mana BroadNet Inference sesuai
BroadNet Inference menerima imej pada tiga model chat melalui format mesej standard OpenAI, dan ia tidak menyimpan prompt, imej atau jawapan selepas permintaan, yang penting untuk invois yang penuh dengan nama, ID cukai dan butiran bank (pengekalan data sifar). Dokumentasinya menyenaraikan output berstruktur untuk Qwen3.8 27B tetapi tidak mendokumenkan parameter skema, jadi bergantunglah pada lapisan pengesahan di atas dan bukannya pada API untuk menguatkuasakan skema anda. BroadNet tidak menerbitkan had saiz imej atau produk AI dokumen khusus, dan dokumentasinya menerangkan input imej, bukan muat naik PDF, jadi jadikan halaman sebagai imej dahulu. Untuk larian volum tinggi dengan bajet tetap, pelan DeepSeek V4.1 Flash tanpa had termasuk imej.

