Model penglihatan boleh membaca invois, tetapi ia juga boleh tersalah baca satu digit, melangkau satu baris atau mereka medan yang tidak wujud. Penyelesaiannya bukan prompt yang lebih baik semata-mata. Ia ialah langkah semakan yang direka sejak hari pertama: peraturan yang menentukan dokumen mana yang dilihat manusia, baris gilir yang memberitahu mereka sebabnya, dan log yang membolehkan anda membuktikan kadar ralat.
Catatan ini membincangkan langkah itu. Pengekstrakan itu sendiri (penyediaan imej, prompt JSON, pengesahan skema dan cubaan semula) ada dalam mengekstrak data daripada dokumen dengan LLM penglihatan, dan pembacaan khusus bahasa Arab ada dalam membaca invois bahasa Arab dengan penglihatan. Di sini kami menganggap anda sudah menerima JSON dan perlu memutuskan apa yang boleh dipercayai.
Apakah yang patut menentukan sama ada manusia menyemak sesuatu dokumen?
Peraturan yang boleh diuji dalam kod, bukan gerak hati tentang model. Mulakan dengan yang berikut, mengikut nilai:
| Peraturan | Contoh kod sebab | Mengapa ia penting |
|---|---|---|
| Medan wajib tiada | missing:total |
Null itu jujur; nilai yang diteka lebih teruk |
| Jumlah tidak sepadan | arithmetic:subtotal+tax!=total |
Satu digit yang tersalah baca hampir selalu merosakkan jumlah |
| Item baris tidak menjumlah | arithmetic:lines!=subtotal |
Menangkap baris yang terlangkau atau berganda |
| Tarikh tidak boleh dihuraikan atau di luar julat | date:unparsed |
Menangkap hari/bulan yang tertukar dan hingar OCR |
| ID cukai vendor tidak dikenali | vendor:unknown |
Pembekal baharu dan penipuan kedua-duanya bermula di sini |
| Mata wang tidak dijangka | currency:unexpected |
Simbol yang tersalah baca mengubah amaun |
| Model menyatakan ia tidak pasti | model:not_confident |
Petunjuk, bukan satu-satunya pintu |
Dua pilihan reka bentuk menjadikan baris gilir boleh digunakan. Pertama, setiap peraturan menghasilkan kod sebab yang pendek dan stabil, supaya penyemak membuka dokumen dengan mengetahui apa yang perlu disemak, dan anda boleh mengira peraturan mana yang paling kerap tercetus. Kedua, dokumen sama ada lulus setiap peraturan atau pergi kepada manusia. Elakkan skor berpemberat yang tiada siapa boleh terangkan kepada juruaudit.
Patutkah anda mempercayai keyakinan model?
Anggap ia isyarat yang lemah. Anda boleh meminta model menilai setiap medan sebagai keyakinan high, medium atau low, dan ia akan melakukannya. Tetapi Xiong et al. (ICLR 2024) menanda aras cara mendapatkan LLM menyatakan keyakinan dan mendapati model “tend to be overconfident” (Terjemahan: cenderung terlalu yakin) apabila mereka menyatakan sejauh mana mereka pasti; prompt dan persampelan yang lebih baik membantu, dan tiada kaedah yang sentiasa mengatasi yang lain. Log-kebarangkalian token ialah satu lagi pilihan pada sesetengah API. Rujukan API BroadNet tidak mendokumenkan logprobs, jadi jangan reka bentuk bergantung padanya di sana.
Peraturan praktikalnya: apa-apa di bawah “high” daripada model, atau tiada penilaian langsung, menghantar dokumen untuk semakan, tetapi “high” tidak pernah melangkau semakan kod. Selepas beberapa ratus dokumen disemak, periksa sama ada medan “high” benar-benar mempunyai lebih sedikit pembetulan. Jika tidak, buang isyarat itu.
Bagaimanakah anda menghalakan dokumen ke baris gilir?
Penghala ini berjalan selepas pengekstrakan dan pengesahan. Ia menormalkan digit Arab-Hindi, menggunakan peraturan di atas dan memilih satu daripada tiga baris gilir: review, audit_sample atau auto. Ia Python biasa tanpa panggilan API, jadi anda boleh mengujinya dengan ujian unit.
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
Kami mengujinya pada tiga invois Saudi rekaan (vendor dan ID cukai adalah fiksyen). Invois yang bersih, dengan tarikh dan subjumlah ditulis dalam digit Arab-Hindi (٢٠٢٦-١١-٠٢ dan ١٬٠٠٠٫٠٠), pergi ke auto. Invois yang sama dengan jumlah tersalah baca sebagai 1,105.00 pergi ke review dengan arithmetic:subtotal+tax!=total. Satu dengan ID cukai yang tidak dikenali, bulan 13 dan keyakinan “medium” pergi ke review dengan tiga sebab: date:unparsed, vendor:unknown dan model:not_confident. Memaksa cabutan rawak di bawah 0.05 menghantar invois bersih ke audit_sample.
Dua had yang perlu diketahui. Pembantu money() menganggap pemisah perpuluhan titik atau Arab; “1.150,00” gaya Eropah memerlukan penghurai sendiri berdasarkan negara vendor. Dan peraturan tarikh menganggap model memulangkan tarikh ISO. Tarikh Hijrah perlu ditukar dahulu, seperti dalam pengekstrakan entiti bernama bahasa Arab.
Apakah yang berubah untuk invois bahasa Arab dan Inggeris?
Invois dwibahasa lazim di Teluk: label bahasa Arab dan Inggeris bersebelahan, amaun dalam digit Barat atau Arab-Hindi, dan nama vendor dalam dua tulisan. Beberapa peraturan membantu:
- Normalkan digit sebelum sebarang semakan. Petakan ٠–٩ dan ۰–۹ Parsi kepada 0–9, dan pemisah perpuluhan serta ribuan Arab (٫ dan ٬) kepada bentuk ASCII. Kemudian bandingkan.
- Padankan vendor pada ID cukai, bukan nama. Nama Arab dan Inggeris jarang sepadan aksara demi aksara dengan rekod induk anda. Nombor pendaftaran sepadan.
- Simpan kedua-dua nama untuk penyemak. Tunjukkan nama vendor Arab dan Inggeris yang diekstrak di sebelah rekod induk, dengan bahasa Arab dalam blok kanan-ke-kiri yang terasing. Catatan reka bentuk produk berbilang bahasa membincangkan paparan bidi.
- Semak sama ada invois berstruktur wujud. ZATCA Arab Saudi menjalankan e-invois (Fatoorah) dalam dua fasa, mulai 4 Disember 2021 dan 1 Januari 2023, berasaskan invois dalam format elektronik berstruktur. Jika pembekal boleh menghantarnya kepada anda, huraikan itu dan bukannya membaca gambarnya, dan simpan penglihatan untuk kertas, foto dan ekor panjang.
OCR bahasa Arab dengan LLM penglihatan membincangkan bahagian pembacaan: baris diakritik, tulisan bercampur dan susun atur.
Apakah yang patut dilihat oleh penyemak?
Skrin semakan yang baik menjawab satu soalan bagi setiap kod sebab. Untuk arithmetic, tunjukkan item baris, subjumlah, cukai dan jumlah bersebelahan dengan jumlah yang dikira. Untuk vendor:unknown, tunjukkan ID cukai yang diekstrak dan rekod induk yang paling hampir. Untuk date:unparsed, tunjukkan teks tarikh mentah dan keratan imej asalnya.
Tunjukkan imej di sebelah medan, bukan dalam tab lain. Benarkan penyemak membetulkan medan, meluluskan, atau menolak dokumen sebagai tidak boleh dibaca. Rekodkan tindakan yang diambil. “Tidak boleh dibaca” ialah data yang berguna: jika 10% dokumen seorang pembekal tidak boleh dibaca, minta PDF daripada pembekal itu, bukan keajaiban daripada model anda.
Mengapakah perlu mengambil sampel dokumen yang lulus semua peraturan?
Kerana peraturan hanya menangkap ralat yang anda fikirkan. Jika model tersalah baca item baris, subjumlah dan jumlah dengan amaun yang sama (7 yang comot dibaca sebagai 1 di ketiga-tiga tempat), setiap jumlah masih sepadan dan tiada peraturan tercetus. Satu-satunya cara menemui ralat itu ialah melihat dokumen yang tidak ditanda sesiapa.
Ambil sampel secara rawak, bukan dengan memilih, dan kira berapa banyak yang memerlukan pembetulan. Sampel kecil memberikan julat yang luas. Dengan selang Wilson 95%, yang diterangkan oleh buku panduan NIST untuk perkadaran (memetik cadangan Agresti dan Coull, serta Brown, Cai dan DasGupta), kod metrik kami di bawah memberikan:
| Dokumen diaudit dengan sifar ralat ditemui | Kadar ralat sebenar masih boleh mencecah |
|---|---|
| 50 | kira-kira 7.1% |
| 300 | kira-kira 1.3% |
Jadi “kami audit 50 dan tiada apa-apa ditemui” tidak bermakna kadar ralat di bawah 1%. Besarkan sampel selepas sebarang perubahan pada prompt, model atau campuran dokumen, dan kecilkannya perlahan-lahan.
Bagaimanakah anda menyimpan jejak audit?
Rekodkan pembetulan dalam sistem anda sendiri. Setiap dokumen memerlukan satu baris dengan:
- hash SHA-256 fail sumber (dan di mana fail itu sendiri disimpan, mengikut peraturan penyimpanan anda);
- ID model, versi prompt dan JSON mentah yang dipulangkan model;
- ID permintaan penyedia (BroadNet memulangkannya dalam pengepala
X-Request-ID) untuk pertanyaan sokongan; - keputusan peraturan dan baris gilir;
- penyemak, masa, tindakan dan nilai sebelum dan selepas bagi setiap medan yang dibetulkan.
Ini lebih penting dengan API tanpa penyimpanan data. Pernyataan privasi BroadNet menyatakan gerbangnya tidak menyimpan prompt, imej, respons atau transkrip, dan hanya menyimpan rekod akaun, pengebilan, trafik dan keselamatan tanpa kandungan. Itu baik untuk invois sensitif, tetapi ia bermakna tiada sesiapa di pihak penyedia boleh menunjukkan kepada anda apa yang dilihat atau dikatakan model bulan lepas. Log anda satu-satunya rekod. Jangan masukkan apa-apa yang anda tidak perlukan; log penggunaan API LLM membincangkan apa yang perlu dilog dan apa yang perlu disunting.
Bagaimanakah anda mengukur kadar semakan?
Jalankan ini setiap minggu ke atas log penghalaan, dengan pembetulan digabungkan:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
Pada minggu sintetik 1,000 dokumen (760 auto, 190 semakan, 50 diaudit dengan 2 memerlukan pembetulan), ia melaporkan kadar semakan 0.19, vendor sebagai sebab utama dengan 120, dan kadar ralat diaudit antara 1.1% dan 13.5%. Julat terakhir itu ialah jawapan jujur kepada “sejauh mana tepatnya automasi?” pada saiz sampel ini.
Baca ketiga-tiga angka bersama:
- Kadar semakan menurun, ralat diaudit kekal: satu peraturan terlalu ketat, atau model bertambah baik. Bagus.
- Kadar semakan menurun, ralat diaudit meningkat: satu peraturan terlalu longgar. Ketatkan sebelum ralat sampai ke lejar anda.
- Satu sebab mendominasi: baiki puncanya. Jika
vendor:unknownmendahului, kemas kini induk pembekal; jikaarithmeticmendahului, lihat kualiti imej atau cuba model lain pada dokumen yang sama dengan kaedah dalam menilai LLM sebelum bertukar.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference menawarkan tiga model chat yang menerima imej, menurut suapan harganya: Qwen3.8 27B ($0.175 input / $2.17 output setiap 1M token, dengan output berstruktur didokumenkan), Gemma 4 VL 26B ($0.10 / $0.22, boleh digunakan dengan kredit permulaan $5) dan DeepSeek V4.1 Flash ($0.175 / $0.52). Pada bayar ikut guna, imej dikira sebagai token input; kalkulator token imej membantu menganggarnya. Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam pernyataan privasi BroadNet. BroadNet tidak menyediakan baris gilir semakan atau log audit, jadi penghalaan dan rekod di atas perlu anda bina dan simpan sendiri.
