“多模态”说明的是模型能接收什么输入。一定要核对具体清单,因为两个都叫多模态的模型,能接收的输入可能大不相同。
工作原理
每种输入都会被转换成语言模型本来就能读取的形式:上下文窗口里的一串向量。文本经过分词器。图像经过视觉编码器,变成一块图像 token。视频通常按一系列帧处理,音频则经过音频编码器。
模型卡片显示,即使在同一系列中,差别也可以很细:
| 模型 | 模型卡片列出的输入 | 输出 |
|---|---|---|
| Gemma 4 26B A4B | 文本、图像、以帧形式输入的视频;不支持音频(Google 只为 E2B、E4B 和 12B 尺寸列出了音频) | 文本 |
| Qwen3.8 27B | 文本、图像、视频 | 文本 |
API 也会按端点分工。以 OpenAI 的音频指南为例,文件转写走语音转文字端点,需要音频的聊天应用则指向另一个“对话中的音频”功能。
专指文本加图像的较窄说法是视觉语言模型。
为什么重要
- 成本。 非文本输入会被换算成 token,或按媒体单位计费。在 BroadNet 上,图片越大,输入 token 越多,所以请把图片缩小到够用的清晰度。
- 架构。 如果没有哪个模型能接收你所有的输入,就串联模型:先语音转文字,再交给文本或视觉模型。
- 质量检查。 读印刷发票、读图表、读手写便条是不同的能力。用你自己的文档测试相应模态,而不是只看演示图片。
在 BroadNet Inference 上
BroadNet 的文档按模型列出了以下输入:
| 模型 | 输入 |
|---|---|
| DeepSeek V4.1 Flash | 文本和图像 |
| GLM 5.3 | 文本 |
| Qwen3.8 27B | 文本和视觉 |
| BroadNet Gemma 4 VL 26B | 文本和图像 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 音频,通过 /v1/audio/transcriptions |
图片以 data: URL 的形式放进消息内容列表,发送到 /v1/chat/completions;阿拉伯语发票指南有完整示例。音频是单独的请求:WAV 或 MP3,最大 26,214,400 字节,并设置 language,参见 WhatsApp 语音消息指南。因此,一个语音消息助手要发两次调用:先转写,再对话。