---
title: "Что такое мультимодальность в ИИ? Текст, изображения, аудио"
description: "Мультимодальная модель принимает больше одного типа входа: текст, изображения, видео или аудио. Сколько каждый стоит через API и как связать модели в цепочку."
url: https://broadrouter.com/ru/glossary/multimodal/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/multimodal/) (обновлён 2026-11-16).

# Мультимодальный ИИ (multimodal AI)

Обновлено 2026-11-16

Мультимодальный ИИ — это модель или система, которая работает больше чем с одним типом данных, например с текстом, изображениями, видео и аудио. Мультимодальная модель может прочитать фото вместе с вопросом или принять речь и ответить текстом. Самая распространённая разновидность — визуально-языковая модель.

Также называют: мультимодальная модель, мультимодальная нейросеть, мультимодальность, мультимодальный вход, модальности, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

«Мультимодальная» говорит о том, что модель умеет принимать на вход. Всегда проверяйте точный список: две модели, которые обе называют мультимодальными, могут принимать совсем разные входные данные.

## Как это работает

Каждый тип входа превращается в то же, что языковая модель уже читает: последовательность векторов в её [контекстном окне](https://broadrouter.com/ru/glossary/context-window/). Текст проходит через [токенизатор](https://broadrouter.com/ru/glossary/tokenizer/). Изображение проходит через визуальный энкодер и становится блоком токенов изображения. Видео обычно обрабатывается как серия кадров, а аудио — через аудиоэнкодер.

Карточки моделей показывают, насколько это конкретно, даже внутри одного семейства:

| Модель | Входы по карточке модели | Выход |
| --- | --- | --- |
| Gemma 4 26B A4B | текст, изображения, видео в виде кадров; без аудио (Google указывает аудио только для размеров E2B, E4B и 12B) | текст |
| Qwen3.8 27B | текст, изображения, видео | текст |

API тоже разделяют работу по эндпоинтам. Например, руководство OpenAI по аудио отправляет транскрибацию файлов на эндпоинт распознавания речи, а чат-приложениям, которым нужно аудио, предлагает отдельную функцию аудио в чате.

Более узкий термин для текста с изображениями — [визуально-языковая модель](https://broadrouter.com/ru/glossary/vision-language-model/).

## Почему это важно

-   **Стоимость.** Нетекстовые входы переводятся в токены или тарифицируются за единицу медиа. В BroadNet изображение побольше занимает больше входных токенов, поэтому уменьшайте его до нужной детализации.
-   **Архитектура.** Если ни одна модель не принимает все ваши типы входа, свяжите модели в цепочку: сначала распознавание речи, затем текстовая или визуальная модель.
-   **Проверка качества.** Прочитать печатный счёт, график или рукописную заметку — разные навыки. Тестируйте модальность на своих документах, а не только на демонстрационной картинке.

## В BroadNet Inference

Документация BroadNet указывает такие входы для каждой модели:

| Модель | Вход |
| --- | --- |
| DeepSeek V4.1 Flash | текст и изображения |
| GLM 5.3 | текст |
| [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) | текст и изображения (vision) |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) | текст и изображения |
| BroadNet Transcribe Arabic / BroadNet Transcribe | аудио, через `/v1/audio/transcriptions` |

Изображения отправляются на `/v1/chat/completions` как `data:` URL в списке содержимого сообщения; полный пример — в [руководстве по арабским счетам](https://broadrouter.com/ru/guides/read-arabic-invoices-with-vision/). Аудио — отдельный запрос: WAV или MP3 размером до 26 214 400 байт с заданным `language`, как в [руководстве по голосовым сообщениям WhatsApp](https://broadrouter.com/ru/guides/transcribe-whatsapp-voice-notes/). Поэтому ассистент для голосовых сообщений делает два вызова: транскрибация, затем чат.

## Вопросы и ответы

### Визуально-языковая модель — мультимодальная?

Да. Визуально-языковая модель — самая распространённая разновидность мультимодальной модели: она принимает текст и изображения. «Мультимодальный» — более широкий термин, он охватывает ещё аудио и видео.

### Можно ли отправить аудио чат-модели в BroadNet?

В документации BroadNet аудио указано только для эндпоинта транскрибации. Сначала транскрибируйте аудио, затем отправьте текст чат-модели.

### Изображения стоят дороже текста?

На ключах BroadNet с оплатой по факту изображение тарифицируется как входные токены по цене входа модели, и чем больше изображение, тем больше токенов. На тарифе изображения входят в фиксированную цену.

## См. также

-   [Визуально-языковая модель (VLM)](https://broadrouter.com/ru/glossary/vision-language-model/) (термин)
-   [Оптическое распознавание символов (OCR)](https://broadrouter.com/ru/glossary/ocr/) (термин)
-   [Распознавание речи (speech-to-text)](https://broadrouter.com/ru/glossary/speech-to-text/) (термин)
-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Как читать арабские счета и чеки vision-моделью](https://broadrouter.com/ru/guides/read-arabic-invoices-with-vision/) (руководство)
-   [Голосовые сообщения WhatsApp в текст через API](https://broadrouter.com/ru/guides/transcribe-whatsapp-voice-notes/) (руководство)
-   [Распознавание счетов, чеков и форм в JSON с помощью vision LLM](https://broadrouter.com/ru/blog/extract-data-from-documents-with-vision-llm/) (статья)
-   [Самый дешёвый vision LLM API: цена за изображение и за страницу](https://broadrouter.com/ru/blog/cheapest-vision-llm-api/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-multimodal&utm_content=page-cta) ·

**Источники**

-   [Карточка модели на Hugging Face, google/gemma-4-26B-A4B-it (модальности по размерам модели) (проверено 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Карточка модели на Hugging Face, Qwen/Qwen3.8-27B (вход изображений и видео) (проверено 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [OpenAI, руководство по аудио и речи (транскрибация и аудио в чате) (проверено 2026-11-16)](https://developers.openai.com/api/docs/guides/audio)
-   [Справочник API BroadNet Inference, модели и модальности (проверено 2026-11-16) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-multimodal&utm_content=sources)
