BroadRouter
开始使用

光学字符识别(OCR)

更新于

光学字符识别(OCR)是一种技术,能检测图片、扫描件或 PDF 中的印刷或手写文字,并转换成机器可读的字符。传统 OCR 输出文字及其在页面上的位置;视觉语言模型则能直接读取文字并回答相关问题。

又称: 光学字符识别、文字识别、图片转文字、图片文字识别、文档 OCR、扫描件文字提取、OCR、optical character recognition、text recognition、image to text、document OCR、scanned text extraction

OCR 这一步,把一张收据照片变成程序可以搜索、存储或核对的文本。

工作原理

传统 OCR 引擎先在页面上找到文字区域,切分成行,再识别每一行中的字符。最知名的开源引擎 Tesseract 在第 4 版加入了能识别整行文字的 LSTM 神经网络,开箱即可 “recognize more than 100 languages”(译文:识别 100 多种语言)。输出格式包括纯文本、hOCR(HTML)、PDF、隐藏文本 PDF、TSV、ALTO 或 PAGE,因此你还能拿到单词位置。

传统 OCR 止步于字符。要知道哪个数字是总额、哪一行是供应商名称,你需要再加规则或第二个模型。

视觉语言模型走的是另一条路。Hugging Face 的 image-text-to-text 任务页面把文档问答描述为 “an OCR-free approach”(译文:一种免 OCR 的方法):文档图片直接交给视觉语言模型,由它读取并作答。你可以直接索要字段,并以结构化输出的形式拿回来。

传统 OCR(如 Tesseract) 视觉大模型
输出 字符加位置 答案、摘要或 JSON 字段
版面理解 有限,需要规则 能结合上下文读懂表格和标签
运行方式 本地运行,无按次费用 通常是 API,按 token 计费
风险 字符识别错误 字符识别错误,以及编造数值

为什么重要

  • 成本。 发给大模型 API 的图片按输入 token 计费。本地 OCR 没有按次费用,但需要服务器和维护。
  • 准确性核查。 视觉模型可能返回一个看似合理、页面上却没有的总额。让它引用原文,并在代码中核对求和。
  • 阿拉伯语。 从右到左的书写、相连的字母形态,以及阿拉伯数字与拉丁数字混用,都会增加难度。无论用哪个引擎或模型,都要用你自己的扫描件测试。

在 BroadNet Inference 上

BroadNet 没有记录单独的 OCR 端点。它的文档演示了读取发票的方法:把图片以 data: URL 的形式发送给模型信息中列有图像或视觉能力的对话模型,例如 DeepSeek V4.1 Flash、BroadNet Gemma 4 VL 26B 或 Qwen3.8 27B。在按量付费密钥上,图片按模型的输入价格计为输入 token(Gemma 为每百万 $0.10),图片越大用的 token 越多。按阿拉伯语发票指南走一遍,并参阅用视觉大模型做阿拉伯语 OCR,了解什么情况下传统 OCR 仍是更好的工具。

常见问题

OCR 和视觉大模型有什么区别?

OCR 返回它找到的字符及其位置。视觉大模型读取图片后能回答问题,比如“这张发票的总额是多少?”,也能以 JSON 返回指定字段。

BroadNet 有 OCR 端点吗?

文档中没有单独的 OCR 端点。你把图片发送给 /v1/chat/completions 上支持视觉的对话模型,让它返回你需要的文字或字段。

传统 OCR 还值得用吗?

值得,适合大批量、干净的印刷页面,而且只需要文字和位置的场景。它在本地运行,没有按次费用。如果你需要的是字段、表格或答案,而不是原始字符,视觉模型更合适。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity