BroadRouter
Начать

Мультимодальный ИИ (multimodal AI)

Обновлено

Мультимодальный ИИ — это модель или система, которая работает больше чем с одним типом данных, например с текстом, изображениями, видео и аудио. Мультимодальная модель может прочитать фото вместе с вопросом или принять речь и ответить текстом. Самая распространённая разновидность — визуально-языковая модель.

Также называют: мультимодальная модель, мультимодальная нейросеть, мультимодальность, мультимодальный вход, модальности, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

«Мультимодальная» говорит о том, что модель умеет принимать на вход. Всегда проверяйте точный список: две модели, которые обе называют мультимодальными, могут принимать совсем разные входные данные.

Как это работает

Каждый тип входа превращается в то же, что языковая модель уже читает: последовательность векторов в её контекстном окне. Текст проходит через токенизатор. Изображение проходит через визуальный энкодер и становится блоком токенов изображения. Видео обычно обрабатывается как серия кадров, а аудио — через аудиоэнкодер.

Карточки моделей показывают, насколько это конкретно, даже внутри одного семейства:

Модель Входы по карточке модели Выход
Gemma 4 26B A4B текст, изображения, видео в виде кадров; без аудио (Google указывает аудио только для размеров E2B, E4B и 12B) текст
Qwen3.8 27B текст, изображения, видео текст

API тоже разделяют работу по эндпоинтам. Например, руководство OpenAI по аудио отправляет транскрибацию файлов на эндпоинт распознавания речи, а чат-приложениям, которым нужно аудио, предлагает отдельную функцию аудио в чате.

Более узкий термин для текста с изображениями — визуально-языковая модель.

Почему это важно

  • Стоимость. Нетекстовые входы переводятся в токены или тарифицируются за единицу медиа. В BroadNet изображение побольше занимает больше входных токенов, поэтому уменьшайте его до нужной детализации.
  • Архитектура. Если ни одна модель не принимает все ваши типы входа, свяжите модели в цепочку: сначала распознавание речи, затем текстовая или визуальная модель.
  • Проверка качества. Прочитать печатный счёт, график или рукописную заметку — разные навыки. Тестируйте модальность на своих документах, а не только на демонстрационной картинке.

В BroadNet Inference

Документация BroadNet указывает такие входы для каждой модели:

Модель Вход
DeepSeek V4.1 Flash текст и изображения
GLM 5.3 текст
Qwen3.8 27B текст и изображения (vision)
BroadNet Gemma 4 VL 26B текст и изображения
BroadNet Transcribe Arabic / BroadNet Transcribe аудио, через /v1/audio/transcriptions

Изображения отправляются на /v1/chat/completions как data: URL в списке содержимого сообщения; полный пример — в руководстве по арабским счетам. Аудио — отдельный запрос: WAV или MP3 размером до 26 214 400 байт с заданным language, как в руководстве по голосовым сообщениям WhatsApp. Поэтому ассистент для голосовых сообщений делает два вызова: транскрибация, затем чат.

Вопросы и ответы

Визуально-языковая модель — мультимодальная?

Да. Визуально-языковая модель — самая распространённая разновидность мультимодальной модели: она принимает текст и изображения. «Мультимодальный» — более широкий термин, он охватывает ещё аудио и видео.

Можно ли отправить аудио чат-модели в BroadNet?

В документации BroadNet аудио указано только для эндпоинта транскрибации. Сначала транскрибируйте аудио, затем отправьте текст чат-модели.

Изображения стоят дороже текста?

На ключах BroadNet с оплатой по факту изображение тарифицируется как входные токены по цене входа модели, и чем больше изображение, тем больше токенов. На тарифе изображения входят в фиксированную цену.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity