BroadRouter

视觉语言模型(VLM,vision-language model)

更新于

视觉语言模型(VLM)是一种同时接收图像和文本作为输入、输出文本的模型,可以描述图片、回答关于图片的问题,并读取文档、图表或截图。VLM 也被称为图文生文(image-text-to-text)模型或多模态模型。

又称: 视觉语言模型、视觉大模型、多模态大模型、图文模型、图像理解 API、VLM、vision-language model、vision model、multimodal LLM、image-text-to-text model、vision API

视觉语言模型让你可以像询问文本一样,就一张图片提问。

工作原理

Hugging Face 对这类模型的描述很简单:它们 “take in an image and text prompt and output text.”(译文:接收图像和文本提示,输出文本。)它们在图文对上训练,因此学会把看到的内容与语言联系起来。

通过 OpenAI 兼容 API,图像作为一个内容部分放在消息里,可以是公开 URL,也可以是 base64 data URL:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

模型把图像转换成输入 token,与你的文本一起读取,然后写出回答。

为什么重要

  • 文档。 发票、收据、表单和证件可以直接交给模型,常常配合结构化输出以 JSON 形式取回字段。
  • 屏幕和图表。 智能体可以读取截图和仪表盘;客服工具可以读取用户发来的照片。
  • 费用和限制。 每张图像都会增加输入 token,并占用一部分上下文窗口。一次请求里放很多图像,用量会迅速累积。

务必核对结果。VLM 可能误读又小又模糊的文字,也可能信心十足地给出错误数字。凡是涉及资金的场景,请用代码校验合计。

在 BroadNet Inference 上

有三个对话模型接受图像:

模型 输入 上下文
DeepSeek V4.1 Flash 文本和图像 1,048,576 token
Qwen3.8 27B 文本和图像 262,144 token
BroadNet Gemma 4 VL 26B 文本和图像 32,768 token

GLM 5.3 仅支持文本。BroadNet Gemma 4 VL 26B 每百万输入 token $0.10,可以使用免费的 $5 初始额度。Qwen3.8 27B 经 BroadNet 用阿拉伯语测试过,也支持结构化输出。按量付费时,图像按输入 token 计费,图像越大用量越多。

阿拉伯语发票指南演示了一次完整的信息提取。请确保 data URL 中的 MIME 类型准确,并在推理模型上为 max_tokens 留出余量。

常见问题

视觉语言模型和 OCR 是一回事吗?

不是。OCR 把图像中的印刷文字转换成字符。VLM 也能读文字,但它理解版面和内容,因此能回答诸如“哪一行是合计”或“这张图表说明了什么”之类的问题。

图像也消耗 token 吗?

是的。图像会被转换成输入 token。图像越大通常用得越多,所以请把图像缩小到仍能保留所需细节的最小尺寸。

BroadNet 上哪些模型支持图像输入?

DeepSeek V4.1 Flash、Qwen3.8 27B 和 BroadNet Gemma 4 VL 26B 支持文本和图像输入。GLM 5.3 仅支持文本。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity