OCR 这一步,把一张收据照片变成程序可以搜索、存储或核对的文本。
工作原理
传统 OCR 引擎先在页面上找到文字区域,切分成行,再识别每一行中的字符。最知名的开源引擎 Tesseract 在第 4 版加入了能识别整行文字的 LSTM 神经网络,开箱即可 “recognize more than 100 languages”(译文:识别 100 多种语言)。输出格式包括纯文本、hOCR(HTML)、PDF、隐藏文本 PDF、TSV、ALTO 或 PAGE,因此你还能拿到单词位置。
传统 OCR 止步于字符。要知道哪个数字是总额、哪一行是供应商名称,你需要再加规则或第二个模型。
视觉语言模型走的是另一条路。Hugging Face 的 image-text-to-text 任务页面把文档问答描述为 “an OCR-free approach”(译文:一种免 OCR 的方法):文档图片直接交给视觉语言模型,由它读取并作答。你可以直接索要字段,并以结构化输出的形式拿回来。
| 传统 OCR(如 Tesseract) | 视觉大模型 | |
|---|---|---|
| 输出 | 字符加位置 | 答案、摘要或 JSON 字段 |
| 版面理解 | 有限,需要规则 | 能结合上下文读懂表格和标签 |
| 运行方式 | 本地运行,无按次费用 | 通常是 API,按 token 计费 |
| 风险 | 字符识别错误 | 字符识别错误,以及编造数值 |
为什么重要
- 成本。 发给大模型 API 的图片按输入 token 计费。本地 OCR 没有按次费用,但需要服务器和维护。
- 准确性核查。 视觉模型可能返回一个看似合理、页面上却没有的总额。让它引用原文,并在代码中核对求和。
- 阿拉伯语。 从右到左的书写、相连的字母形态,以及阿拉伯数字与拉丁数字混用,都会增加难度。无论用哪个引擎或模型,都要用你自己的扫描件测试。
在 BroadNet Inference 上
BroadNet 没有记录单独的 OCR 端点。它的文档演示了读取发票的方法:把图片以 data: URL 的形式发送给模型信息中列有图像或视觉能力的对话模型,例如 DeepSeek V4.1 Flash、BroadNet Gemma 4 VL 26B 或 Qwen3.8 27B。在按量付费密钥上,图片按模型的输入价格计为输入 token(Gemma 为每百万 $0.10),图片越大用的 token 越多。按阿拉伯语发票指南走一遍,并参阅用视觉大模型做阿拉伯语 OCR,了解什么情况下传统 OCR 仍是更好的工具。