---
title: "AI 中的多模态是什么意思？文本、图像与音频 | BroadRouter"
description: "多模态模型能接收不止一种输入：文本、图像、视频或音频。通过 API 使用时每种输入如何计费，以及单个模型做不到时如何串联多个模型。"
url: https://broadrouter.com/zh/glossary/multimodal/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/multimodal/)（2026-11-16 更新）。

# 多模态 AI（multimodal AI）

更新于 2026-11-16

多模态 AI 是能处理多种数据类型（如文本、图像、视频和音频）的模型或系统。多模态模型可以同时读取一张照片和一个问题，或者输入语音、输出文本。视觉语言模型是最常见的一类。

又称： 多模态、多模态模型、多模态大模型、多模态 AI、多模态输入、模态、multimodal、multimodal model、multimodal AI model、multimodal input、multi-modal、modalities

“多模态”说明的是模型能接收什么输入。一定要核对具体清单，因为两个都叫多模态的模型，能接收的输入可能大不相同。

## 工作原理

每种输入都会被转换成语言模型本来就能读取的形式：[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)里的一串向量。文本经过[分词器](https://broadrouter.com/zh/glossary/tokenizer/)。图像经过视觉编码器，变成一块图像 token。视频通常按一系列帧处理，音频则经过音频编码器。

模型卡片显示，即使在同一系列中，差别也可以很细：

| 模型 | 模型卡片列出的输入 | 输出 |
| --- | --- | --- |
| Gemma 4 26B A4B | 文本、图像、以帧形式输入的视频；不支持音频（Google 只为 E2B、E4B 和 12B 尺寸列出了音频） | 文本 |
| Qwen3.8 27B | 文本、图像、视频 | 文本 |

API 也会按端点分工。以 OpenAI 的音频指南为例，文件转写走语音转文字端点，需要音频的聊天应用则指向另一个“对话中的音频”功能。

专指文本加图像的较窄说法是[视觉语言模型](https://broadrouter.com/zh/glossary/vision-language-model/)。

## 为什么重要

-   **成本。** 非文本输入会被换算成 token，或按媒体单位计费。在 BroadNet 上，图片越大，输入 token 越多，所以请把图片缩小到够用的清晰度。
-   **架构。** 如果没有哪个模型能接收你所有的输入，就串联模型：先语音转文字，再交给文本或视觉模型。
-   **质量检查。** 读印刷发票、读图表、读手写便条是不同的能力。用你自己的文档测试相应模态，而不是只看演示图片。

## 在 BroadNet Inference 上

BroadNet 的文档按模型列出了以下输入：

| 模型 | 输入 |
| --- | --- |
| DeepSeek V4.1 Flash | 文本和图像 |
| GLM 5.3 | 文本 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 文本和视觉 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 文本和图像 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 音频，通过 `/v1/audio/transcriptions` |

图片以 `data:` URL 的形式放进消息内容列表，发送到 `/v1/chat/completions`；[阿拉伯语发票指南](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)有完整示例。音频是单独的请求：WAV 或 MP3，最大 26,214,400 字节，并设置 `language`，参见 [WhatsApp 语音消息指南](https://broadrouter.com/zh/guides/transcribe-whatsapp-voice-notes/)。因此，一个语音消息助手要发两次调用：先转写，再对话。

## 常见问题

### 视觉语言模型算多模态吗？

算。视觉语言模型是最常见的多模态模型，接收文本和图像。多模态是更宽泛的说法，还包括音频和视频。

### 在 BroadNet 上能把音频直接发给对话模型吗？

BroadNet 的文档只在转写端点列出了音频。先把音频转写成文字，再把文字发给对话模型。

### 图片比文本更贵吗？

在 BroadNet 按量付费密钥上，图片按模型的输入价格计为输入 token，图片越大用的 token 越多。在套餐上，图片包含在固定价格内。

## 另请参阅

-   [视觉语言模型（VLM，vision-language model）](https://broadrouter.com/zh/glossary/vision-language-model/)（术语）
-   [光学字符识别（OCR）](https://broadrouter.com/zh/glossary/ocr/)（术语）
-   [语音转文字（speech-to-text）](https://broadrouter.com/zh/glossary/speech-to-text/)（术语）
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)（术语）
-   [用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)（指南）
-   [用 API 把 WhatsApp 语音消息转成文字](https://broadrouter.com/zh/guides/transcribe-whatsapp-voice-notes/)（指南）
-   [用视觉大模型把发票、收据和表单数据提取为 JSON](https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/)（文章）
-   [最便宜的视觉大模型 API：每张图片和每页文档的成本算法](https://broadrouter.com/zh/blog/cheapest-vision-llm-api/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-multimodal&utm_content=page-cta) ·

**来源**

-   [Hugging Face 模型卡片，google/gemma-4-26B-A4B-it（各尺寸支持的模态）（2026-11-16 查阅）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face 模型卡片，Qwen/Qwen3.8-27B（图像与视频输入）（2026-11-16 查阅）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [OpenAI，音频与语音指南（转写与对话中的音频）（2026-11-16 查阅）](https://developers.openai.com/api/docs/guides/audio)
-   [BroadNet Inference API 参考：模型与模态（2026-11-16 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-multimodal&utm_content=sources)
