BroadRouter

把人工复核纳入文档 AI 工作流

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

在规则全部通过之前,把每份提取结果都视为未批准。缺少必填字段、金额对不上、日期或供应商异常、模型不确定时,交给人工复核。另外对通过规则的文档随机抽查一小部分,在自己的系统里记录每一次修正,并跟踪复核率和抽检错误率。

视觉模型能读发票,但也可能读错一个数字、漏掉一行,或者凭空编出一个并不存在的字段。光靠更好的提示词解决不了。要从第一天起就设计好复核环节:用规则决定哪些文档交给人看,用队列告诉复核人员原因,用日志证明错误率。

本文讲的就是这个环节。提取本身(图片准备、JSON 提示词、schema 校验和重试)见用视觉大模型从文档中提取数据,阿拉伯语的读取细节见用视觉模型读取阿拉伯语发票。这里假设你已经拿到了 JSON,需要决定哪些结果可以信任。

什么应该决定一份文档是否交给人工复核?

能在代码里测试的规则,而不是对模型的感觉。先从下面这些开始,按价值排序:

规则 原因代码示例 为什么重要
缺少必填字段 missing:total null 是诚实的;猜出来的值更糟
金额对不上 arithmetic:subtotal+tax!=total 读错一个数字,几乎总会让某个求和对不上
明细加起来不对 arithmetic:lines!=subtotal 能发现漏读或重复的行
日期无法解析或超出范围 date:unparsed 能发现日月颠倒和 OCR 噪声
未知的供应商税号 vendor:unknown 新供应商和欺诈都从这里开始
意外的币种 currency:unexpected 读错一个符号就会改变金额
模型表示不确定 model:not_confident 只是提示,绝不能作为唯一关卡

有两个设计决定让队列真正好用。第一,每条规则都产生一个简短、稳定的原因代码,复核人员打开文档时就知道要检查什么,你也能统计哪条规则触发得最多。第二,一份文档要么通过所有规则,要么交给人工。避免使用谁也无法向审计人员解释清楚的加权评分。

应该相信模型的置信度吗?

把它当作弱信号。你可以让模型给每个字段打 high、medium 或 low 的置信度,它也会照做。但 Xiong 等(ICLR 2024)对让大模型表达置信度的各种方法做了基准测试,发现模型在说明自己有多确定时 “tend to be overconfident”(译文:往往过于自信);更好的提示和采样有帮助,但没有哪种方法能稳定胜出。有些 API 还提供 token 对数概率。BroadNet 的 API 参考没有记载 logprobs,所以在那里不要围绕它来设计。

实用的规则是:模型给出低于 “high” 的评级,或者根本没有评级,就送去复核,但给出 “high” 也绝不跳过代码检查。复核过几百份文档后,检查 “high” 字段的修正是否真的更少。如果没有,就放弃这个信号。

怎样把文档分流到队列?

这个路由器在提取和校验之后运行。它把阿拉伯-印度数字规范化,应用上面的规则,然后在三个队列中选一个:review、audit_sample 或 auto。它是纯 Python,不调用 API,所以可以做单元测试。

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

我们用三张虚构的沙特发票做了测试(供应商和税号都是虚构的)。一张干净的发票,日期和小计用阿拉伯-印度数字书写(٢٠٢٦-١١-٠٢ 和 ١٬٠٠٠٫٠٠),进入了 auto。同一张发票把总额误读成 1,105.00 后,带着 arithmetic:subtotal+tax!=total 进入了 review。另一张税号未知、月份为 13、置信度为 “medium” 的发票,带着三个原因进入了 review:date:unparsed、vendor:unknown 和 model:not_confident。把随机数强制设为低于 0.05 后,那张干净的发票进入了 audit_sample。

有两个限制需要知道。money() 辅助函数假定小数点是英文句点或阿拉伯小数分隔符;欧洲写法 “1.150,00” 需要按供应商所在国家另写解析器。日期规则则假定模型返回的是 ISO 日期。回历(Hijri)日期需要先转换,做法见阿拉伯语命名实体提取。

阿拉伯语和英语发票有什么不同?

双语发票在海湾地区很常见:阿拉伯语和英语标签并排,金额用西方数字或阿拉伯-印度数字,供应商名称用两种文字书写。以下几条规则有帮助:

  • 在任何检查之前先规范化数字。 把 ٠–٩ 和波斯数字 ۰–۹ 映射为 0–9,把阿拉伯小数分隔符和千位分隔符(٫ 和 ٬)映射为 ASCII 形式,然后再比较。
  • 按税号而不是名称匹配供应商。 阿拉伯语和英语名称很少能与你的主数据逐字符一致,登记号却可以。
  • 给复核人员同时展示两种名称。 把提取出的阿拉伯语和英语供应商名称与主数据记录并排显示,阿拉伯语放在一个从右到左的独立区块中。双向文本的显示见多语言产品设计。
  • 确认是否有结构化发票。 沙特 ZATCA 分两个阶段推行电子发票(Fatoorah),分别自 2021 年 12 月 4 日和 2023 年 1 月 1 日起,核心是结构化电子格式的发票。如果供应商能直接发给你这种格式,就解析它,而不是去读它的图片;视觉模型留给纸质单据、照片和长尾情况。

读取方面的问题(变音符号、混合文字和版式)见用视觉大模型做阿拉伯语 OCR。

复核人员应该看到什么?

好的复核界面针对每个原因代码回答一个问题。对 arithmetic,把明细、小计、税额和总额与计算出的和并排显示。对 vendor:unknown,显示提取出的税号和最接近的主数据记录。对 date:unparsed,显示原始日期文本和它所在的图片裁切区域。

把图片放在字段旁边,而不是另一个标签页里。让复核人员可以修正字段、批准,或把文档标为无法识别而拒绝。记录他们采取了哪种操作。“无法识别” 是有用的数据:如果某个供应商 10% 的文档都无法识别,就去向这个供应商要 PDF,而不是指望模型创造奇迹。

为什么还要抽检通过了所有规则的文档?

因为规则只能发现你想到过的错误。如果模型把一行明细、小计和总额读错了同样的数(一个模糊的 7 在三处都被读成 1),所有求和依然一致,没有任何规则会触发。发现这类错误的唯一办法,就是去看没有被标记的文档。

要随机抽样,而不是挑着看,并记录有多少份需要修正。样本小,区间就宽。采用 95% Wilson 区间(NIST 手册用于比例的方法,引用了 Agresti 与 Coull 以及 Brown、Cai 与 DasGupta 的建议),用下文的指标代码可以得到:

抽检文档数(零错误) 真实错误率仍可能高达
50 约 7.1%
300 约 1.3%

所以 “我们抽检了 50 份,什么都没发现” 并不意味着错误率低于 1%。提示词、模型或文档构成有任何变化后都要加大抽样量,然后再慢慢降低。

怎样保留审计记录?

在你自己的系统里记录修正。每份文档需要一行记录,包含:

  • 源文件的 SHA-256 哈希(以及文件本身按你的保留规则存放在哪里);
  • 模型 ID、提示词版本和模型返回的原始 JSON;
  • 服务商的请求 ID(BroadNet 在 X-Request-ID 响应头中返回),用于技术支持问题;
  • 规则结果和所进入的队列;
  • 复核人员、时间、操作,以及每个被修正字段修正前后的值。

使用零数据保留的 API 时,这一点更加重要。BroadNet 的隐私声明称,其网关不保留任何提示词、图片、响应或转录文本,只保留不含内容的账户、计费、流量和安全记录。这对敏感发票是好事,但也意味着服务商那边没有人能告诉你模型上个月看到了什么、说了什么。你的日志是唯一的记录。不需要的东西别往里放;记录什么、脱敏什么,见大模型 API 用量日志。

怎样衡量复核率?

每周在路由日志上运行一次,并关联修正记录:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

在一个合成的 1,000 份文档的一周数据上(760 份自动通过、190 份复核、抽检 50 份其中 2 份需要修正),它报告的复核率为 0.19,最常见的原因是 vendor,共 120 次,抽检错误率在 1.1% 到 13.5% 之间。在这个样本量下,最后这个区间就是 “自动化有多准确?” 的诚实答案。

把三个数字放在一起看:

  • 复核率下降,抽检错误持平: 某条规则原先太严,或者模型变好了。这是好事。
  • 复核率下降,抽检错误上升: 某条规则太宽松。在错误进入账本之前收紧它。
  • 某个原因占绝大多数: 去解决根源。如果 vendor:unknown 居首,就更新供应商主数据;如果 arithmetic 居首,就检查图片质量,或者用切换大模型前如何评估中的方法,在同一批文档上试试另一个模型。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。根据其价格数据,BroadNet Inference 提供三个可以接收图片的对话模型:Qwen3.8 27B(每 1M token 输入 $0.175、输出 $2.17,文档记载支持结构化输出)、Gemma 4 VL 26B($0.10 / $0.22,可使用 $5 初始额度)和 DeepSeek V4.1 Flash($0.175 / $0.52)。按量付费时,图片按输入 token 计费;图片 token 计算器可以帮你估算。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。BroadNet 不提供复核队列或审计日志,所以上面的路由和记录需要你自己构建和保存。

常见问题

发票提取时,哪些情况应该转人工复核?

任何没通过规则的文档:缺少必填字段、明细或税额加起来不等于总额、日期无法解析或超出范围、未知供应商、意外的币种,或模型置信度低于 “high”。另外,从全部通过规则的文档中随机抽一小部分。

能用模型的置信度分数跳过人工复核吗?

不能单靠它。关于自报置信度的研究(Xiong 等,ICLR 2024)发现大模型往往过于自信。把它当作代码检查之外的一个信号,并用你的标注数据检验 “high” 是否真的意味着更少错误。

自动批准的文档应该抽检多少份?

抽到足以界定你关心的错误率为止。在零错误的情况下,抽检 50 份可把真实错误率的上限界定在约 7%(95% Wilson 上限),300 份约为 1.3%。规则、提示词或模型有变动时,要加大抽样量。

复核率多少才算合适?

没有通用的数字。先设得高一些,只有当自动批准文档的抽检错误率一直在你的容忍范围内时,才逐步降低。复核率下降而抽检错误率上升,说明某条规则太宽松。

审计记录应该存在哪里?

存在你自己的数据库里。保存源文件的哈希、模型 ID、提示词版本、原始输出、规则结果、复核人员和修正后的值。如果服务商不保留请求内容(BroadNet 对其推理 API 就是这样说明的),以后别人就无法还原这些信息。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity