---
title: "视觉大模型发票识别：把发票数据提取为 JSON | BroadRouter"
description: "一条面向发票、收据和表单的生产级流水线：图像预处理、JSON 字段提示词、Pydantic 校验、金额核对、重试和人工复核队列。"
url: https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/extract-data-from-documents-with-vision-llm/)（2026-11-14 更新）。

# 用视觉大模型把发票、收据和表单数据提取为 JSON

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 2026-11-14

把每一页渲染成图片，连同一条写明每个字段及其格式的提示词发给视觉模型，并要求只返回 JSON。然后在代码里校验：解析、检查 schema、核对明细行加起来等于总额，失败时带上错误信息重试一次。反复失败的交给人工处理。

## 要点

-   模型负责读，代码负责判断。没有经过 schema 和金额核对，绝不要把提取的数据写进账本。
-   在提示词里写明每个字段、类型和格式，并说明字段缺失时返回什么（null，绝不猜测）。
-   金额核对能发现大多数识别错误：明细金额之和必须等于小计，小计加税额必须等于总额。
-   把校验错误写进提示词重试一次；反复失败的转入人工队列。
-   按量付费时，图片按输入 token 计费，图片越大用量越多，所以发送前先缩小。

**本页内容**

1.  流水线是什么样的？
2.  怎样预处理文档图片？
3.  提取提示词应该怎么写？
4.  怎样获得结构化输出并加以校验？
5.  哪些检查能发现最多的错误？
6.  上线前怎样衡量准确率？
7.  BroadNet Inference 上有哪些合适的视觉模型？
8.  BroadNet Inference 适合什么场景

_[image: A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."]_

Illustrative example.

发票、收据和表单都有同一个问题：数据在图片里，而你需要它进数据库。基于模板的 OCR 每遇到一家新供应商的版式就会失效。[视觉语言模型](https://broadrouter.com/zh/glossary/vision-language-model/)读取页面后直接返回字段。问题在于它可能错得很自信，所以功夫要下在它周围的流水线上。本文讲适用于任何语言的通用流水线。阿拉伯语文档的接入见[用视觉模型读取阿拉伯语发票](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)，什么时候传统 OCR 更合适见[阿拉伯语 OCR 与视觉大模型](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)。

## 流水线是什么样的？

1.  **预处理**每一页：把 PDF 渲染成图片、纠正旋转、缩放尺寸。
2.  **提取**：每份文档一个请求，提示词逐字段写明，只返回 JSON。
3.  **校验**：解析、schema 检查、金额核对。
4.  校验失败时，带上错误信息**重试**一次。
5.  **复核**：仍然失败的交给人工，附上图片和草稿结果。
6.  在标注样本上**衡量**字段准确率，每次更换模型或提示词时重新跑一遍。

## 怎样预处理文档图片？

用 PyMuPDF 把 PDF 渲染成图片，让最小的文字保持清晰，同时不多发一个不必要的像素：

```python
# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls
```

在 BroadNet Inference 上，图片以 `data:` URL 的形式放进消息，并带上准确的 MIME 类型；[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)时按输入 token 计费，图片越大用量越多。先用 `usage` 字段测一次每页的 token 数，再据此确定批量大小；做法见[发送前计算 token](https://broadrouter.com/zh/blog/count-tokens-before-sending/)，[视觉大模型每张图片的费用](https://broadrouter.com/zh/blog/cheapest-vision-llm-api/)则把 token 换算成每页费用。想在发送任何请求之前估算每页 token，把一张样例扫描件拖进[图片 token 计算器](https://broadrouter.com/tools/image-token-calculator/)即可。

## 提取提示词应该怎么写？

键、类型、格式和缺失值都要写得一丝不苟。如果你还需要一个 JSON Schema，用于校验或用于强制执行 schema 的供应商，免费的 [JSON Schema 生成器](https://broadrouter.com/tools/json-schema-generator/)可以根据一张样例发票生成：

```python
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
```

“Never guess”（绝不猜测）加上明确的 `null` 最为关键。没有这条，模型会用看似合理的值填补空缺，这比留空更糟，因为它能通过简单的检查。

## 怎样获得结构化输出并加以校验？

[结构化输出](https://broadrouter.com/zh/glossary/structured-output/)分两个层次。JSON 模式保证输出是合法的 JSON；受 schema 约束的输出还能保证结构。OpenAI 的指南说得很直白：两者都会生成合法的 JSON，但只有 Structured Outputs 能确保遵循 schema。各供应商、各模型对这两者的支持不一，所以无论 API 承诺了什么，都要在代码里校验：

```python
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review
```

金额请用 `Decimal`，不要用 `float`。`max_tokens` 要设得宽松：Qwen3.8 27B 回答前会先思考，思考计入上限；上限太小会返回空字符串。见[思考模型为什么返回空回复](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。

## 哪些检查能发现最多的错误？

| 检查 | 能发现 | 成本 |
| --- | --- | --- |
| JSON 能解析 | JSON 前后夹杂的文字、被截断 | 免费 |
| schema 校验通过 | 缺少键、类型错误 | 免费 |
| 明细之和等于小计 | 读错数字、漏行 | 免费 |
| 小计 + 税额 = 总额 | 读错总额或税额 | 免费 |
| 日期能解析且不在未来 | 日月颠倒、OCR 噪声 | 免费 |
| 供应商税号与你的供应商名单一致 | 供应商错误、欺诈 | 一次查找 |
| 同一供应商的发票号是否重复 | 重复付款 | 一次查询 |

金额核对最划算：只要读错一个数字，加总几乎必然对不上。收据往往没有明细行，所以有什么就查什么，对收据接受较少的检查项。

## 上线前怎样衡量准确率？

手工标注 50 到 100 份真实文档，跑一遍流水线，**按字段**打分，而不是按文档。总额和日期的标准应该比描述字段更严。跟踪三个数字：字段准确率、无需重试即通过校验的文档比例，以及转入复核的比例。怎样设计这个复核环节，包括对已通过文档的随机抽查，见[让人工复核成为文档 AI 流程的一部分](https://broadrouter.com/zh/blog/document-review-queues/)。尝试其他模型时，用同一套样本跑；方法见[切换前评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)。

## BroadNet Inference 上有哪些合适的视觉模型？

| 模型 | 图片 | 上下文 | 说明 |
| --- | --- | --- | --- |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 支持 | 262,144 | 列出了工具调用、结构化输出和思考；BroadNet 做过阿拉伯语测试 |
| [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 支持 | 32,768 | BroadNet 价格最低的模型；可用免费额度和按小时密钥运行 |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 支持 | 1,048,576 | 不限量套餐包含图片 |

每 100 万 token 的价格见[价格页](https://broadrouter.com/zh/pricing/)；把实测的每页 token 数乘以月度量，填进[大模型 API 费用计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)即可。

## BroadNet Inference 适合什么场景

BroadNet Inference 通过标准的 OpenAI 消息格式，在三个对话模型上接受图片输入，并且在请求结束后不保留提示词、图片或回答。这对满是姓名、税号和银行信息的发票很重要（[零数据保留](https://broadrouter.com/zh/privacy/)）。它的文档为 Qwen3.8 27B 列出了结构化输出，但没有说明 schema 参数，所以请依靠上面的校验层，而不是依靠 API 来强制执行你的 schema。BroadNet 没有公布图片大小限制，也没有专门的文档 AI 产品，其文档描述的是图片输入而不是 PDF 上传，所以要先把页面渲染成图片。需要在固定预算下大批量处理时，[不限量的 DeepSeek V4.1 Flash 套餐](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)包含图片。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[光学字符识别（OCR）](https://broadrouter.com/zh/glossary/ocr/)

光学字符识别（OCR）是一种技术，能检测图片、扫描件或 PDF 中的印刷或手写文字，并转换成机器可读的字符。传统 OCR 输出文字及其在页面上的位置；视觉语言模型则能直接读取文字并回答相关问题。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[视觉语言模型（VLM，vision-language model）](https://broadrouter.com/zh/glossary/vision-language-model/)

视觉语言模型（VLM）是一种同时接收图像和文本作为输入、输出文本的模型，可以描述图片、回答关于图片的问题，并读取文档、图表或截图。VLM 也被称为图文生文（image-text-to-text）模型或多模态模型。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[图像 token（image tokens）](https://broadrouter.com/zh/glossary/image-tokens/)

图像 token 是视觉语言模型用来在提示词中表示一张图片的输入 token。服务商根据图片尺寸计算其数量，通常是先缩放、再切成固定大小的图块，并像文本输入 token 一样计费，所以图片越大越贵。

[JSON Schema](https://broadrouter.com/zh/glossary/json-schema/)

JSON Schema 是一套用 JSON 编写的词汇，用于描述和校验 JSON 数据的结构：类型、必填字段、允许的取值和嵌套。当前版本是 2020-12。大模型 API 用它来定义工具参数，以及结构化输出必须遵循的确切结构。

## 常见问题

### 视觉大模型能代替 OCR 识别发票吗？

对很多版式来说可以。视觉模型一步就能读图并把文字映射到字段，不需要为每家供应商做模板。但它有时仍会读错数字，所以要保留校验和复核队列。

### 怎样让视觉模型稳定输出 JSON？

在提示词里列出确切的键、类型和格式，要求只返回 JSON，并在代码里解析。如果模型支持受 schema 约束的输出，就用上。无论哪种方式，都要用 schema 库校验，并带上错误信息重试一次。

### 多页 PDF 发票怎么提取数据？

把每页渲染成图片；如果装得进模型的上下文，就把同一张发票的所有页面放在一个请求里发送，这样最后一页的总额能和第一页的明细对上。

### 发票图片分辨率设多少合适？

高到最小的数字也清晰即可，不要更高。图片越大，输入 token 越多。对 A4 页面来说，长边约 1,500 到 2,000 像素是一个合理的起点；请用你自己的文档测试。

### 怎样衡量提取的准确率？

手工标注 50 到 100 份真实文档，逐字段打分。总额和日期要与供应商名称这类自由文本字段分开统计，因为它们出错的代价不同。

## 继续阅读

-   [阿拉伯语 OCR 与视觉大模型：识别阿拉伯语文档和发票](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)
-   [阿拉伯语 OCR API 对比：Google、Azure、Textract、Mistral 与大模型](https://broadrouter.com/zh/blog/arabic-ocr-api-comparison/)
-   [最便宜的视觉大模型 API：每张图片和每页文档的成本算法](https://broadrouter.com/zh/blog/cheapest-vision-llm-api/)
-   [JSON 模式与 json\_schema：靠得住的结构化输出](https://broadrouter.com/zh/blog/structured-output-json-schema/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [发送大模型请求前，怎么计算 token 数？](https://broadrouter.com/zh/blog/count-tokens-before-sending/)
-   [把人工复核纳入文档 AI 工作流](https://broadrouter.com/zh/blog/document-review-queues/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-extract-data-from-documents-with-vision-llm&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：带图片的对话、MIME 类型、套餐中的图片（2026-11-14 获取）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-extract-data-from-documents-with-vision-llm&utm_content=sources#requests)
-   [BroadNet Inference 机器可读价格、模型和模态，pricing.json（2026-11-14 获取）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-extract-data-from-documents-with-vision-llm&utm_content=sources)
-   [OpenAI Structured Outputs 指南：JSON 模式与 schema 遵循（2026-11-14 获取）](https://developers.openai.com/api/docs/guides/structured-outputs)
-   [Pydantic 文档：模型与校验（2026-11-14 获取）](https://docs.pydantic.dev/latest/concepts/models/)
-   [PyMuPDF 文档：把页面渲染为图片（2026-11-14 获取）](https://pymupdf.readthedocs.io/en/latest/recipes-images.html)
