---
title: "文档 AI 人工复核队列：校验规则与抽样审计 | BroadRouter"
description: "如何设计文档 AI 流水线中的人工复核环节：校验规则、哪些文档交给人看、随机抽样审计、审计记录和复核率。"
url: https://broadrouter.com/zh/blog/document-review-queues/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/document-review-queues/)（2026-11-16 更新）。

# 把人工复核纳入文档 AI 工作流

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

在规则全部通过之前，把每份提取结果都视为未批准。缺少必填字段、金额对不上、日期或供应商异常、模型不确定时，交给人工复核。另外对通过规则的文档随机抽查一小部分，在自己的系统里记录每一次修正，并跟踪复核率和抽检错误率。

## 要点

-   由校验规则决定哪些文档交给人看。模型自报的置信度只是又一个信号，已发表的研究发现大模型自报置信度时往往过于自信。
-   每份进入队列的文档都应带上机器可读的原因代码，例如 arithmetic 或 vendor:unknown，这样复核人员知道该看哪里，你也知道该修哪条规则。
-   对自动批准的文档做随机抽检。抽检 50 份、零错误，真实错误率仍可能高达约 7%（95% Wilson 区间）。
-   审计记录要自己保存：图片哈希、模型 ID、提示词版本、输出、命中的规则和复核人员的修正。零数据保留的 API 不会留存任何内容副本。
-   每周跟踪三个数字：复核率、最常见的复核原因，以及自动批准文档的抽检错误率。

**本页内容**

1.  什么应该决定一份文档是否交给人工复核？
2.  应该相信模型的置信度吗？
3.  怎样把文档分流到队列？
4.  阿拉伯语和英语发票有什么不同？
5.  复核人员应该看到什么？
6.  为什么还要抽检通过了所有规则的文档？
7.  怎样保留审计记录？
8.  怎样衡量复核率？
9.  BroadNet Inference 的定位

视觉模型能读发票，但也可能读错一个数字、漏掉一行，或者凭空编出一个并不存在的字段。光靠更好的提示词解决不了。要从第一天起就设计好复核环节：用规则决定哪些文档交给人看，用队列告诉复核人员原因，用日志证明错误率。

本文讲的就是这个环节。提取本身（图片准备、JSON 提示词、schema 校验和重试）见[用视觉大模型从文档中提取数据](https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/)，阿拉伯语的读取细节见[用视觉模型读取阿拉伯语发票](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)。这里假设你已经拿到了 JSON，需要决定哪些结果可以信任。

## 什么应该决定一份文档是否交给人工复核？

能在代码里测试的规则，而不是对模型的感觉。先从下面这些开始，按价值排序：

| 规则 | 原因代码示例 | 为什么重要 |
| --- | --- | --- |
| 缺少必填字段 | `missing:total` | null 是诚实的；猜出来的值更糟 |
| 金额对不上 | `arithmetic:subtotal+tax!=total` | 读错一个数字，几乎总会让某个求和对不上 |
| 明细加起来不对 | `arithmetic:lines!=subtotal` | 能发现漏读或重复的行 |
| 日期无法解析或超出范围 | `date:unparsed` | 能发现日月颠倒和 OCR 噪声 |
| 未知的供应商税号 | `vendor:unknown` | 新供应商和欺诈都从这里开始 |
| 意外的币种 | `currency:unexpected` | 读错一个符号就会改变金额 |
| 模型表示不确定 | `model:not_confident` | 只是提示，绝不能作为唯一关卡 |

有两个设计决定让队列真正好用。第一，每条规则都产生一个简短、稳定的原因代码，复核人员打开文档时就知道要检查什么，你也能统计哪条规则触发得最多。第二，一份文档要么通过所有规则，要么交给人工。避免使用谁也无法向审计人员解释清楚的加权评分。

## 应该相信模型的置信度吗？

把它当作弱信号。你可以让模型给每个字段打 high、medium 或 low 的置信度，它也会照做。但 Xiong 等（ICLR 2024）对让大模型表达置信度的各种方法做了基准测试，发现模型在说明自己有多确定时 “tend to be overconfident”（译文：往往过于自信）；更好的提示和采样有帮助，但没有哪种方法能稳定胜出。有些 API 还提供 token 对数概率。BroadNet 的 API 参考没有记载 `logprobs`，所以在那里不要围绕它来设计。

实用的规则是：模型给出低于 “high” 的评级，或者根本没有评级，就送去复核，但给出 “high” 也绝不跳过代码检查。复核过几百份文档后，检查 “high” 字段的修正是否真的更少。如果没有，就放弃这个信号。

## 怎样把文档分流到队列？

这个路由器在提取和校验之后运行。它把阿拉伯-印度数字规范化，应用上面的规则，然后在三个队列中选一个：`review`、`audit_sample` 或 `auto`。它是纯 Python，不调用 API，所以可以做单元测试。

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

我们用三张虚构的沙特发票做了测试（供应商和税号都是虚构的）。一张干净的发票，日期和小计用阿拉伯-印度数字书写（٢٠٢٦-١١-٠٢ 和 ١٬٠٠٠٫٠٠），进入了 `auto`。同一张发票把总额误读成 1,105.00 后，带着 `arithmetic:subtotal+tax!=total` 进入了 `review`。另一张税号未知、月份为 13、置信度为 “medium” 的发票，带着三个原因进入了 `review`：`date:unparsed`、`vendor:unknown` 和 `model:not_confident`。把随机数强制设为低于 0.05 后，那张干净的发票进入了 `audit_sample`。

有两个限制需要知道。`money()` 辅助函数假定小数点是英文句点或阿拉伯小数分隔符；欧洲写法 “1.150,00” 需要按供应商所在国家另写解析器。日期规则则假定模型返回的是 ISO 日期。回历（Hijri）日期需要先转换，做法见[阿拉伯语命名实体提取](https://broadrouter.com/zh/blog/arabic-named-entity-extraction-llm/)。

## 阿拉伯语和英语发票有什么不同？

双语发票在海湾地区很常见：阿拉伯语和英语标签并排，金额用西方数字或阿拉伯-印度数字，供应商名称用两种文字书写。以下几条规则有帮助：

-   **在任何检查之前先规范化数字。** 把 ٠–٩ 和波斯数字 ۰–۹ 映射为 0–9，把阿拉伯小数分隔符和千位分隔符（٫ 和 ٬）映射为 ASCII 形式，然后再比较。
-   **按税号而不是名称匹配供应商。** 阿拉伯语和英语名称很少能与你的主数据逐字符一致，登记号却可以。
-   **给复核人员同时展示两种名称。** 把提取出的阿拉伯语和英语供应商名称与主数据记录并排显示，阿拉伯语放在一个从右到左的独立区块中。双向文本的显示见[多语言产品设计](https://broadrouter.com/zh/blog/multilingual-product-design/)。
-   **确认是否有结构化发票。** 沙特 ZATCA 分两个阶段推行电子发票（Fatoorah），分别自 2021 年 12 月 4 日和 2023 年 1 月 1 日起，核心是结构化电子格式的发票。如果供应商能直接发给你这种格式，就解析它，而不是去读它的图片；视觉模型留给纸质单据、照片和长尾情况。

读取方面的问题（变音符号、混合文字和版式）见[用视觉大模型做阿拉伯语 OCR](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)。

## 复核人员应该看到什么？

好的复核界面针对每个原因代码回答一个问题。对 `arithmetic`，把明细、小计、税额和总额与计算出的和并排显示。对 `vendor:unknown`，显示提取出的税号和最接近的主数据记录。对 `date:unparsed`，显示原始日期文本和它所在的图片裁切区域。

把图片放在字段旁边，而不是另一个标签页里。让复核人员可以修正字段、批准，或把文档标为无法识别而拒绝。记录他们采取了哪种操作。“无法识别” 是有用的数据：如果某个供应商 10% 的文档都无法识别，就去向这个供应商要 PDF，而不是指望模型创造奇迹。

## 为什么还要抽检通过了所有规则的文档？

因为规则只能发现你想到过的错误。如果模型把一行明细、小计和总额读错了同样的数（一个模糊的 7 在三处都被读成 1），所有求和依然一致，没有任何规则会触发。发现这类错误的唯一办法，就是去看没有被标记的文档。

要随机抽样，而不是挑着看，并记录有多少份需要修正。样本小，区间就宽。采用 95% Wilson 区间（NIST 手册用于比例的方法，引用了 Agresti 与 Coull 以及 Brown、Cai 与 DasGupta 的建议），用下文的指标代码可以得到：

| 抽检文档数（零错误） | 真实错误率仍可能高达 |
| --- | --- |
| 50 | 约 7.1% |
| 300 | 约 1.3% |

所以 “我们抽检了 50 份，什么都没发现” 并不意味着错误率低于 1%。提示词、模型或文档构成有任何变化后都要加大抽样量，然后再慢慢降低。

## 怎样保留审计记录？

在你自己的系统里记录修正。每份文档需要一行记录，包含：

-   源文件的 SHA-256 哈希（以及文件本身按你的保留规则存放在哪里）；
-   模型 ID、提示词版本和模型返回的原始 JSON；
-   服务商的请求 ID（BroadNet 在 `X-Request-ID` 响应头中返回），用于技术支持问题；
-   规则结果和所进入的队列；
-   复核人员、时间、操作，以及每个被修正字段修正前后的值。

使用零数据保留的 API 时，这一点更加重要。BroadNet 的隐私声明称，其网关不保留任何提示词、图片、响应或转录文本，只保留不含内容的账户、计费、流量和安全记录。这对敏感发票是好事，但也意味着服务商那边没有人能告诉你模型上个月看到了什么、说了什么。你的日志是唯一的记录。不需要的东西别往里放；记录什么、脱敏什么，见[大模型 API 用量日志](https://broadrouter.com/zh/blog/llm-api-usage-logging/)。

## 怎样衡量复核率？

每周在路由日志上运行一次，并关联修正记录：

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

在一个合成的 1,000 份文档的一周数据上（760 份自动通过、190 份复核、抽检 50 份其中 2 份需要修正），它报告的复核率为 0.19，最常见的原因是 `vendor`，共 120 次，抽检错误率在 1.1% 到 13.5% 之间。在这个样本量下，最后这个区间就是 “自动化有多准确？” 的诚实答案。

把三个数字放在一起看：

-   **复核率下降，抽检错误持平：** 某条规则原先太严，或者模型变好了。这是好事。
-   **复核率下降，抽检错误上升：** 某条规则太宽松。在错误进入账本之前收紧它。
-   **某个原因占绝大多数：** 去解决根源。如果 `vendor:unknown` 居首，就更新供应商主数据；如果 `arithmetic` 居首，就检查图片质量，或者用[切换大模型前如何评估](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)中的方法，在同一批文档上试试另一个模型。

## BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。根据其[价格数据](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-document-review-queues&utm_content=body)，BroadNet Inference 提供三个可以接收图片的对话模型：[Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/)（每 1M token 输入 $0.175、输出 $2.17，文档记载支持结构化输出）、[Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/)（$0.10 / $0.22，可使用 $5 初始额度）和 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/)（$0.175 / $0.52）。按量付费时，图片按输入 token 计费；[图片 token 计算器](https://broadrouter.com/tools/image-token-calculator/)可以帮你估算。推理内容不会被保留；必要的账户、计费和安全元数据按 BroadNet [隐私声明](https://www.broadnet.ai/inference-privacy)所述保留。BroadNet 不提供复核队列或审计日志，所以上面的路由和记录需要你自己构建和保存。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[从右到左（RTL）文本](https://broadrouter.com/zh/glossary/rtl-text/)

从右到左（RTL）文本是指阿拉伯语、希伯来语等从右向左显示的文字。计算机按逻辑阅读顺序存储它；当它与从左到右的文字、数字、模型名或代码混排时，由 Unicode 双向算法决定显示顺序。

[光学字符识别（OCR）](https://broadrouter.com/zh/glossary/ocr/)

光学字符识别（OCR）是一种技术，能检测图片、扫描件或 PDF 中的印刷或手写文字，并转换成机器可读的字符。传统 OCR 输出文字及其在页面上的位置；视觉语言模型则能直接读取文字并回答相关问题。

[视觉语言模型（VLM，vision-language model）](https://broadrouter.com/zh/glossary/vision-language-model/)

视觉语言模型（VLM）是一种同时接收图像和文本作为输入、输出文本的模型，可以描述图片、回答关于图片的问题，并读取文档、图表或截图。VLM 也被称为图文生文（image-text-to-text）模型或多模态模型。

[图像 token（image tokens）](https://broadrouter.com/zh/glossary/image-tokens/)

图像 token 是视觉语言模型用来在提示词中表示一张图片的输入 token。服务商根据图片尺寸计算其数量，通常是先缩放、再切成固定大小的图块，并像文本输入 token 一样计费，所以图片越大越贵。

[Logprobs（对数概率）](https://broadrouter.com/zh/glossary/logprobs/)

Logprobs 是语言模型为其生成的各个 token 给出的对数概率。返回 logprobs 的 API 会显示每个输出 token 被模型判断的可能性有多大，还可以选择列出该位置上最可能的候选 token。

[阿拉伯语变音符号（tashkeel）](https://broadrouter.com/zh/glossary/arabic-diacritics/)

阿拉伯语变音符号（tashkeel）是写在字母上方或下方的小符号，用来标示短元音、辅音重叠和无元音。它们是可选的：包括新闻在内，大多数阿拉伯语文本都省略它们，读者和软件需要根据上下文推断元音。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

## 常见问题

### 发票提取时，哪些情况应该转人工复核？

任何没通过规则的文档：缺少必填字段、明细或税额加起来不等于总额、日期无法解析或超出范围、未知供应商、意外的币种，或模型置信度低于 “high”。另外，从全部通过规则的文档中随机抽一小部分。

### 能用模型的置信度分数跳过人工复核吗？

不能单靠它。关于自报置信度的研究（Xiong 等，ICLR 2024）发现大模型往往过于自信。把它当作代码检查之外的一个信号，并用你的标注数据检验 “high” 是否真的意味着更少错误。

### 自动批准的文档应该抽检多少份？

抽到足以界定你关心的错误率为止。在零错误的情况下，抽检 50 份可把真实错误率的上限界定在约 7%（95% Wilson 上限），300 份约为 1.3%。规则、提示词或模型有变动时，要加大抽样量。

### 复核率多少才算合适？

没有通用的数字。先设得高一些，只有当自动批准文档的抽检错误率一直在你的容忍范围内时，才逐步降低。复核率下降而抽检错误率上升，说明某条规则太宽松。

### 审计记录应该存在哪里？

存在你自己的数据库里。保存源文件的哈希、模型 ID、提示词版本、原始输出、规则结果、复核人员和修正后的值。如果服务商不保留请求内容（BroadNet 对其推理 API 就是这样说明的），以后别人就无法还原这些信息。

## 继续阅读

-   [用视觉大模型把发票、收据和表单数据提取为 JSON](https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/)
-   [阿拉伯语 OCR 与视觉大模型：识别阿拉伯语文档和发票](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)
-   [JSON 模式与 json\_schema：靠得住的结构化输出](https://broadrouter.com/zh/blog/structured-output-json-schema/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [大模型 API 用量日志：按用户和功能算成本，脱敏 PII](https://broadrouter.com/zh/blog/llm-api-usage-logging/)
-   [大模型返回的 JSON 不合法怎么办：原因、修复与重试](https://broadrouter.com/zh/blog/fix-invalid-json-from-llm/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-document-review-queues&utm_content=page-cta) ·

**来源**

-   [Xiong 等，Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs，ICLR 2024（2026-11-15 查阅）](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH 统计方法电子手册 7.2.4：比例的置信区间，Wilson 方法（2026-11-15 查阅）](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA 电子发票（Fatoorah）：第一阶段自 2021 年 12 月 4 日起，第二阶段自 2023 年 1 月 1 日起（2026-11-15 查阅）](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [BroadNet Inference API 参考：带图片的对话、结构化输出、X-Request-ID、数据处理（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference pricing.json：模型模态与价格（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference 隐私与数据保留声明（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference-privacy)
