视觉模型能读发票,但也可能读错一个数字、漏掉一行,或者凭空编出一个并不存在的字段。光靠更好的提示词解决不了。要从第一天起就设计好复核环节:用规则决定哪些文档交给人看,用队列告诉复核人员原因,用日志证明错误率。
本文讲的就是这个环节。提取本身(图片准备、JSON 提示词、schema 校验和重试)见用视觉大模型从文档中提取数据,阿拉伯语的读取细节见用视觉模型读取阿拉伯语发票。这里假设你已经拿到了 JSON,需要决定哪些结果可以信任。
什么应该决定一份文档是否交给人工复核?
能在代码里测试的规则,而不是对模型的感觉。先从下面这些开始,按价值排序:
| 规则 | 原因代码示例 | 为什么重要 |
|---|---|---|
| 缺少必填字段 | missing:total |
null 是诚实的;猜出来的值更糟 |
| 金额对不上 | arithmetic:subtotal+tax!=total |
读错一个数字,几乎总会让某个求和对不上 |
| 明细加起来不对 | arithmetic:lines!=subtotal |
能发现漏读或重复的行 |
| 日期无法解析或超出范围 | date:unparsed |
能发现日月颠倒和 OCR 噪声 |
| 未知的供应商税号 | vendor:unknown |
新供应商和欺诈都从这里开始 |
| 意外的币种 | currency:unexpected |
读错一个符号就会改变金额 |
| 模型表示不确定 | model:not_confident |
只是提示,绝不能作为唯一关卡 |
有两个设计决定让队列真正好用。第一,每条规则都产生一个简短、稳定的原因代码,复核人员打开文档时就知道要检查什么,你也能统计哪条规则触发得最多。第二,一份文档要么通过所有规则,要么交给人工。避免使用谁也无法向审计人员解释清楚的加权评分。
应该相信模型的置信度吗?
把它当作弱信号。你可以让模型给每个字段打 high、medium 或 low 的置信度,它也会照做。但 Xiong 等(ICLR 2024)对让大模型表达置信度的各种方法做了基准测试,发现模型在说明自己有多确定时 “tend to be overconfident”(译文:往往过于自信);更好的提示和采样有帮助,但没有哪种方法能稳定胜出。有些 API 还提供 token 对数概率。BroadNet 的 API 参考没有记载 logprobs,所以在那里不要围绕它来设计。
实用的规则是:模型给出低于 “high” 的评级,或者根本没有评级,就送去复核,但给出 “high” 也绝不跳过代码检查。复核过几百份文档后,检查 “high” 字段的修正是否真的更少。如果没有,就放弃这个信号。
怎样把文档分流到队列?
这个路由器在提取和校验之后运行。它把阿拉伯-印度数字规范化,应用上面的规则,然后在三个队列中选一个:review、audit_sample 或 auto。它是纯 Python,不调用 API,所以可以做单元测试。
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
我们用三张虚构的沙特发票做了测试(供应商和税号都是虚构的)。一张干净的发票,日期和小计用阿拉伯-印度数字书写(٢٠٢٦-١١-٠٢ 和 ١٬٠٠٠٫٠٠),进入了 auto。同一张发票把总额误读成 1,105.00 后,带着 arithmetic:subtotal+tax!=total 进入了 review。另一张税号未知、月份为 13、置信度为 “medium” 的发票,带着三个原因进入了 review:date:unparsed、vendor:unknown 和 model:not_confident。把随机数强制设为低于 0.05 后,那张干净的发票进入了 audit_sample。
有两个限制需要知道。money() 辅助函数假定小数点是英文句点或阿拉伯小数分隔符;欧洲写法 “1.150,00” 需要按供应商所在国家另写解析器。日期规则则假定模型返回的是 ISO 日期。回历(Hijri)日期需要先转换,做法见阿拉伯语命名实体提取。
阿拉伯语和英语发票有什么不同?
双语发票在海湾地区很常见:阿拉伯语和英语标签并排,金额用西方数字或阿拉伯-印度数字,供应商名称用两种文字书写。以下几条规则有帮助:
- 在任何检查之前先规范化数字。 把 ٠–٩ 和波斯数字 ۰–۹ 映射为 0–9,把阿拉伯小数分隔符和千位分隔符(٫ 和 ٬)映射为 ASCII 形式,然后再比较。
- 按税号而不是名称匹配供应商。 阿拉伯语和英语名称很少能与你的主数据逐字符一致,登记号却可以。
- 给复核人员同时展示两种名称。 把提取出的阿拉伯语和英语供应商名称与主数据记录并排显示,阿拉伯语放在一个从右到左的独立区块中。双向文本的显示见多语言产品设计。
- 确认是否有结构化发票。 沙特 ZATCA 分两个阶段推行电子发票(Fatoorah),分别自 2021 年 12 月 4 日和 2023 年 1 月 1 日起,核心是结构化电子格式的发票。如果供应商能直接发给你这种格式,就解析它,而不是去读它的图片;视觉模型留给纸质单据、照片和长尾情况。
读取方面的问题(变音符号、混合文字和版式)见用视觉大模型做阿拉伯语 OCR。
复核人员应该看到什么?
好的复核界面针对每个原因代码回答一个问题。对 arithmetic,把明细、小计、税额和总额与计算出的和并排显示。对 vendor:unknown,显示提取出的税号和最接近的主数据记录。对 date:unparsed,显示原始日期文本和它所在的图片裁切区域。
把图片放在字段旁边,而不是另一个标签页里。让复核人员可以修正字段、批准,或把文档标为无法识别而拒绝。记录他们采取了哪种操作。“无法识别” 是有用的数据:如果某个供应商 10% 的文档都无法识别,就去向这个供应商要 PDF,而不是指望模型创造奇迹。
为什么还要抽检通过了所有规则的文档?
因为规则只能发现你想到过的错误。如果模型把一行明细、小计和总额读错了同样的数(一个模糊的 7 在三处都被读成 1),所有求和依然一致,没有任何规则会触发。发现这类错误的唯一办法,就是去看没有被标记的文档。
要随机抽样,而不是挑着看,并记录有多少份需要修正。样本小,区间就宽。采用 95% Wilson 区间(NIST 手册用于比例的方法,引用了 Agresti 与 Coull 以及 Brown、Cai 与 DasGupta 的建议),用下文的指标代码可以得到:
| 抽检文档数(零错误) | 真实错误率仍可能高达 |
|---|---|
| 50 | 约 7.1% |
| 300 | 约 1.3% |
所以 “我们抽检了 50 份,什么都没发现” 并不意味着错误率低于 1%。提示词、模型或文档构成有任何变化后都要加大抽样量,然后再慢慢降低。
怎样保留审计记录?
在你自己的系统里记录修正。每份文档需要一行记录,包含:
- 源文件的 SHA-256 哈希(以及文件本身按你的保留规则存放在哪里);
- 模型 ID、提示词版本和模型返回的原始 JSON;
- 服务商的请求 ID(BroadNet 在
X-Request-ID响应头中返回),用于技术支持问题; - 规则结果和所进入的队列;
- 复核人员、时间、操作,以及每个被修正字段修正前后的值。
使用零数据保留的 API 时,这一点更加重要。BroadNet 的隐私声明称,其网关不保留任何提示词、图片、响应或转录文本,只保留不含内容的账户、计费、流量和安全记录。这对敏感发票是好事,但也意味着服务商那边没有人能告诉你模型上个月看到了什么、说了什么。你的日志是唯一的记录。不需要的东西别往里放;记录什么、脱敏什么,见大模型 API 用量日志。
怎样衡量复核率?
每周在路由日志上运行一次,并关联修正记录:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
在一个合成的 1,000 份文档的一周数据上(760 份自动通过、190 份复核、抽检 50 份其中 2 份需要修正),它报告的复核率为 0.19,最常见的原因是 vendor,共 120 次,抽检错误率在 1.1% 到 13.5% 之间。在这个样本量下,最后这个区间就是 “自动化有多准确?” 的诚实答案。
把三个数字放在一起看:
- 复核率下降,抽检错误持平: 某条规则原先太严,或者模型变好了。这是好事。
- 复核率下降,抽检错误上升: 某条规则太宽松。在错误进入账本之前收紧它。
- 某个原因占绝大多数: 去解决根源。如果
vendor:unknown居首,就更新供应商主数据;如果arithmetic居首,就检查图片质量,或者用切换大模型前如何评估中的方法,在同一批文档上试试另一个模型。
BroadNet Inference 的定位
BroadRouter 是 BroadNet 自己的网站。根据其价格数据,BroadNet Inference 提供三个可以接收图片的对话模型:Qwen3.8 27B(每 1M token 输入 $0.175、输出 $2.17,文档记载支持结构化输出)、Gemma 4 VL 26B($0.10 / $0.22,可使用 $5 初始额度)和 DeepSeek V4.1 Flash($0.175 / $0.52)。按量付费时,图片按输入 token 计费;图片 token 计算器可以帮你估算。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。BroadNet 不提供复核队列或审计日志,所以上面的路由和记录需要你自己构建和保存。
