Görsel bir model faturayı okuyabilir; ama bir rakamı yanlış okuyabilir, bir satırı atlayabilir ya da olmayan bir alan uydurabilir. Çözüm yalnızca daha iyi bir istem değil. Çözüm, ilk günden tasarlanmış bir inceleme adımıdır: bir kişinin hangi belgeleri göreceğine karar veren kurallar, ona nedenini söyleyen bir kuyruk ve hata oranını kanıtlamanızı sağlayan bir kayıt.
Bu yazı o adımı anlatıyor. Çıkarmanın kendisi (görüntü hazırlama, JSON istemi, şema doğrulama ve yeniden denemeler) görsel LLM ile belgelerden veri çıkarma yazısında, Arapçaya özgü okuma ise Arapça faturaları görsel modelle okuma rehberinde. Burada JSON’u zaten aldığınızı ve neye güveneceğinize karar vermeniz gerektiğini varsayıyoruz.
Bir belgenin insan tarafından incelenip incelenmeyeceğine ne karar vermeli?
Modele dair bir his değil, kodda test edebileceğiniz kurallar. Değer sırasına göre şunlarla başlayın:
| Kural | Örnek gerekçe kodu | Neden önemli |
|---|---|---|
| Zorunlu alan eksik | missing:total |
Null dürüsttür; tahmin edilmiş bir değer daha kötüdür |
| Toplamlar tutmuyor | arithmetic:subtotal+tax!=total |
Yanlış okunan tek bir rakam neredeyse her zaman bir toplamı bozar |
| Kalemler toplamı vermiyor | arithmetic:lines!=subtotal |
Atlanmış veya yinelenmiş satırları yakalar |
| Tarih ayrıştırılamıyor ya da aralık dışında | date:unparsed |
Gün/ay karışmasını ve OCR gürültüsünü yakalar |
| Bilinmeyen tedarikçi vergi numarası | vendor:unknown |
Yeni tedarikçiler de dolandırıcılık da buradan başlar |
| Beklenmeyen para birimi | currency:unexpected |
Yanlış okunan bir simge tutarı değiştirir |
| Model emin olmadığını söylüyor | model:not_confident |
Bir ipucu; asla tek kapı değil |
İki tasarım kararı kuyruğu kullanışlı kılar. Birincisi, her kural kısa ve sabit bir gerekçe kodu üretir; böylece inceleyen belgeyi neyi kontrol edeceğini bilerek açar, siz de hangi kuralın en sık tetiklendiğini sayabilirsiniz. İkincisi, bir belge ya tüm kurallardan geçer ya da bir kişiye gider. Hiç kimsenin bir denetçiye açıklayamayacağı ağırlıklı puanlardan kaçının.
Modelin güven beyanına güvenmeli misiniz?
Onu zayıf bir sinyal olarak görün. Modelden her alanın güvenini yüksek, orta veya düşük diye derecelendirmesini isteyebilirsiniz; bunu yapar da. Ancak Xiong vd. (ICLR 2024), LLM’lere güvenlerini söyletmenin yollarını karşılaştırdı ve modellerin ne kadar emin olduklarını söylerken “tend to be overconfident” (BroadRouter çevirisi: aşırı emin olma eğiliminde) olduğunu buldu; daha iyi istem ve örnekleme yardımcı oldu, ancak hiçbir yöntem diğerlerini tutarlı biçimde geçemedi. Bazı API’lerde token log-olasılıkları da bir seçenek. BroadNet’in API başvurusu logprobs alanını belgelemiyor; orada tasarımınızı bunun üzerine kurmayın.
Pratik kural: modelden gelen “yüksek”in altındaki her derece ya da hiç derece gelmemesi belgeyi incelemeye gönderir, ama “yüksek” asla koddaki kontrolleri atlatmaz. Birkaç yüz belge incelendikten sonra “yüksek” alanların gerçekten daha az düzeltme alıp almadığına bakın. Almadıysa bu sinyali bırakın.
Belgeleri bir kuyruğa nasıl yönlendirirsiniz?
Bu yönlendirici, çıkarma ve doğrulamadan sonra çalışır. Arap-Hint rakamlarını normalleştirir, yukarıdaki kuralları uygular ve üç kuyruktan birini seçer: review, audit_sample veya auto. API çağrısı içermeyen düz bir Python kodudur; birim testi yazabilirsiniz.
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
Bunu üç uydurma Suudi faturasında test ettik (tedarikçi ve vergi numarası hayalî). Tarihi ve ara toplamı Arap-Hint rakamlarıyla yazılmış (٢٠٢٦-١١-٠٢ ve ١٬٠٠٠٫٠٠) temiz fatura auto kuyruğuna gitti. Aynı fatura, genel toplam 1,105.00 olarak yanlış okununca arithmetic:subtotal+tax!=total gerekçesiyle review kuyruğuna gitti. Vergi numarası bilinmeyen, ay değeri 13 olan ve güveni “orta” olan fatura ise üç gerekçeyle review kuyruğuna gitti: date:unparsed, vendor:unknown ve model:not_confident. Rastgele çekilişi 0.05’in altına zorlamak, temiz faturayı audit_sample kuyruğuna gönderdi.
Bilmeniz gereken iki sınır var. money() yardımcısı ondalık ayırıcı olarak nokta veya Arapça ayırıcı varsayar; Avrupa usulü “1.150,00” tedarikçinin ülkesine göre seçilen ayrı bir ayrıştırıcı ister. Tarih kuralı da modelin ISO tarih döndürdüğünü varsayar. Hicri tarihlerin önce dönüştürülmesi gerekir; bkz. Arapça adlandırılmış varlık çıkarma.
Arapça ve İngilizce faturalarda ne değişir?
Körfez’de iki dilli faturalar yaygındır: Arapça ve İngilizce etiketler yan yana, tutarlar Batı veya Arap-Hint rakamlarıyla ve tedarikçi adı iki ayrı yazı sistemiyle. Birkaç kural işe yarar:
- Her kontrolden önce rakamları normalleştirin. ٠–٩ ve Farsça ۰–۹ rakamlarını 0–9’a, Arapça ondalık ve binlik ayırıcıları (٫ ve ٬) ASCII karşılıklarına eşleyin. Sonra karşılaştırın.
- Tedarikçiyi adla değil vergi numarasıyla eşleştirin. Arapça ve İngilizce adlar ana kaydınızla karakter karakter nadiren eşleşir. Sicil numarası eşleşir.
- İnceleyen için iki adı da tutun. Çıkarılan Arapça ve İngilizce tedarikçi adlarını ana kaydın yanında gösterin; Arapçayı sağdan sola, yalıtılmış bir blokta. Çift yönlü (bidi) gösterimi çok dilli ürün tasarımı yazısı anlatıyor.
- Yapılandırılmış bir fatura olup olmadığını kontrol edin. Suudi Arabistan’ın ZATCA’sı elektronik faturalamayı (Fatoorah) 4 Aralık 2021 ve 1 Ocak 2023 tarihlerinden itibaren iki aşamada yürütüyor ve sistem yapılandırılmış elektronik formattaki faturalar üzerine kurulu. Bir tedarikçi size bunu gönderebiliyorsa resmini okumak yerine onu ayrıştırın; görsel modeli kâğıt, fotoğraf ve geri kalan uzun kuyruk için saklayın.
Okuma tarafını, yani harekeleri, karışık yazı sistemlerini ve yerleşimi görsel LLM ile Arapça OCR yazısı anlatıyor.
İnceleyen ne görmeli?
İyi bir inceleme ekranı her gerekçe kodu için tek bir soruyu yanıtlar. arithmetic için kalemleri, ara toplamı, vergiyi ve genel toplamı hesaplanan toplamla yan yana gösterin. vendor:unknown için çıkarılan vergi numarasını ve en yakın ana kayıtları gösterin. date:unparsed için ham tarih metnini ve görüntüde geldiği yerin kırpılmış hâlini gösterin.
Görüntüyü başka bir sekmede değil, alanların yanında gösterin. İnceleyenin bir alanı düzeltmesine, onaylamasına veya belgeyi okunaksız diye reddetmesine izin verin. Hangi işlemi yaptığını kaydedin. “Okunaksız” değerli bir veridir: bir tedarikçinin belgelerinin %10’u okunaksızsa modelinizden mucize değil, o tedarikçiden PDF isteyin.
Tüm kurallardan geçen belgelerden neden örnek alınır?
Çünkü kurallar yalnızca aklınıza gelen hataları yakalar. Model bir kalemi, ara toplamı ve genel toplamı aynı miktarda yanlış okursa (lekelenmiş bir 7’yi üç yerde de 1 okursa) bütün toplamlar yine tutar ve hiçbir kural tetiklenmez. Bu hataları bulmanın tek yolu, kimsenin işaretlemediği belgelere bakmaktır.
Seçerek değil rastgele örnekleyin ve kaçının düzeltme gerektirdiğini izleyin. Küçük bir örnek geniş bir aralık verir. NIST el kitabının oranlar için anlattığı %95 Wilson aralığıyla (Agresti ve Coull ile Brown, Cai ve DasGupta’nın önerilerine atıfla) aşağıdaki metrik kodumuz şunu veriyor:
| Sıfır hata bulunan denetlenmiş belge sayısı | Gerçek hata oranı hâlâ şu kadar olabilir |
|---|---|
| 50 | yaklaşık %7,1 |
| 300 | yaklaşık %1,3 |
Yani “50 belge denetledik, hiçbir şey bulmadık” hata oranının %1’in altında olduğu anlamına gelmez. İstemde, modelde veya belge karışımında her değişiklikten sonra örneği büyütün, sonra yavaşça küçültün.
Denetim izini nasıl tutarsınız?
Düzeltmeleri kendi sisteminize kaydedin. Her belge için şu bilgileri içeren bir satır gerekir:
- kaynak dosyanın SHA-256 karması (ve saklama kurallarınıza göre dosyanın kendisinin nerede durduğu);
- model kimliği, istem sürümü ve modelin döndürdüğü ham JSON;
- destek soruları için sağlayıcının istek kimliği (BroadNet bunu
X-Request-IDbaşlığında döndürür); - kural sonuçları ve kuyruk;
- inceleyen, zaman, yapılan işlem ve düzeltilen her alanın önceki ve sonraki değeri.
Bu, sıfır veri saklayan bir API’de daha da önemlidir. BroadNet’in gizlilik beyanına göre ağ geçidi hiçbir istemi, görüntüyü, yanıtı veya transkripti tutmaz; yalnızca içerik barındırmayan hesap, faturalama, trafik ve güvenlik kayıtlarını tutar. Hassas faturalar için bu iyidir, ama sağlayıcıda kimsenin size geçen ay modelin ne gördüğünü veya ne dediğini gösteremeyeceği anlamına da gelir. Tek kayıt sizin günlüğünüzdür. İhtiyacınız olmayan hiçbir şeyi içine koymayın; neyin günlüğe yazılacağını ve neyin maskeleneceğini LLM API kullanım günlüğü yazısı anlatıyor.
İnceleme oranını nasıl ölçersiniz?
Bunu her hafta, düzeltmelerle birleştirilmiş yönlendirme günlüğü üzerinde çalıştırın:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
1.000 belgelik sentetik bir haftada (760 otomatik, 190 inceleme, 50 denetim; denetlenenlerin 2’si düzeltme gerektirdi) inceleme oranını 0,19, en sık gerekçeyi 120 ile vendor ve denetlenen hata oranını %1,1 ile %13,5 arasında raporladı. Bu son aralık, bu örnek büyüklüğünde “otomasyon ne kadar doğru?” sorusunun dürüst yanıtıdır.
Üç sayıyı birlikte okuyun:
- İnceleme oranı düşüyor, denetlenen hatalar sabit: bir kural fazla katıydı ya da model iyileşti. İyi.
- İnceleme oranı düşüyor, denetlenen hatalar artıyor: bir kural fazla gevşek. Hatalar muhasebe defterinize ulaşmadan sıkılaştırın.
- Tek bir gerekçe baskın: nedenini düzeltin. Başta
vendor:unknownvarsa tedarikçi ana kaydını güncelleyin; baştaarithmeticvarsa görüntü kalitesine bakın ya da geçiş yapmadan önce LLM değerlendirme yöntemiyle aynı belgelerde başka bir modeli deneyin.
BroadNet Inference’ın yeri
BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference, fiyat akışına göre görsel kabul eden üç sohbet modeli sunuyor: Qwen3.8 27B (1M token başına $0.175 girdi / $2.17 çıktı, yapılandırılmış çıktı belgelenmiş), Gemma 4 VL 26B ($0.10 / $0.22, $5 başlangıç kredisiyle kullanılabilir) ve DeepSeek V4.1 Flash ($0.175 / $0.52). Kullandıkça öde modelinde görseller girdi token’ı olarak sayılır; görsel token hesaplayıcısı bunları tahmin etmenize yardımcı olur. Çıkarım içeriği saklanmaz; gerekli hesap, faturalama ve güvenlik meta verileri BroadNet’in gizlilik beyanında anlatıldığı şekilde saklanır. BroadNet bir inceleme kuyruğu veya denetim günlüğü sunmaz; yukarıdaki yönlendirmeyi ve kayıtları kurmak ve saklamak size kalır.
