BroadRouter
Começar

IA multimodal (multimodal AI)

Atualizado em

IA multimodal é um modelo ou sistema que trabalha com mais de um tipo de dado, como texto, imagens, vídeo e áudio. Um modelo multimodal pode ler uma foto e uma pergunta juntas, ou receber fala e responder em texto. O tipo mais comum é o modelo de visão e linguagem (vision-language model).

Também chamado de: IA multimodal, modelo multimodal, LLM multimodal, entrada multimodal, modalidades, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Multimodal” diz o que um modelo consegue receber. Confira sempre a lista exata, porque dois modelos chamados de multimodais podem aceitar entradas bem diferentes.

Como funciona

Cada tipo de entrada é transformado na mesma coisa que o modelo de linguagem já lê: uma sequência de vetores na janela de contexto dele. O texto passa pelo tokenizer. Uma imagem passa por um encoder de visão e vira um bloco de tokens de imagem. O vídeo costuma ser tratado como uma série de quadros, e o áudio passa por um encoder de áudio.

Os model cards mostram como isso fica específico, mesmo dentro de uma família:

Modelo Entradas listadas no model card Saída
Gemma 4 26B A4B texto, imagem, vídeo como quadros; sem áudio (o Google lista áudio só para os tamanhos E2B, E4B e 12B) texto
Qwen3.8 27B texto, imagem, vídeo texto

As APIs também dividem o trabalho por endpoint. O guia de áudio da OpenAI, por exemplo, manda a transcrição de arquivos para um endpoint de fala para texto e direciona apps de chat que precisam de áudio para um recurso separado de áudio no chat.

O termo mais restrito para texto mais imagens é modelo de visão e linguagem.

Por que importa

  • Custo. Entradas que não são texto são convertidas em tokens ou cobradas por unidade de mídia. Na BroadNet, uma imagem maior usa mais tokens de entrada, então redimensione para o nível de detalhe de que você precisa.
  • Arquitetura. Se nenhum modelo sozinho aceita todas as suas entradas, encadeie modelos: primeiro fala para texto, depois um modelo de texto ou de visão.
  • Checagens de qualidade. Ler uma nota fiscal impressa, um gráfico ou uma anotação à mão são habilidades diferentes. Teste a modalidade com os seus próprios documentos, não só com uma imagem de demonstração.

Na BroadNet Inference

A documentação da BroadNet lista estas entradas por modelo:

Modelo Entrada
DeepSeek V4.1 Flash texto e imagens
GLM 5.3 texto
Qwen3.8 27B texto e visão
BroadNet Gemma 4 VL 26B texto e imagens
BroadNet Transcribe Arabic / BroadNet Transcribe áudio, em /v1/audio/transcriptions

Imagens vão para /v1/chat/completions como uma URL data: na lista de conteúdo da mensagem; o guia de notas fiscais em árabe tem um exemplo completo. Áudio é uma requisição separada: WAV ou MP3 de até 26.214.400 bytes, com language definido, como no guia de mensagens de voz do WhatsApp. Um assistente de mensagens de voz faz, portanto, duas chamadas: transcrever e depois conversar.

Perguntas frequentes

Um modelo de visão e linguagem é multimodal?

Sim. O modelo de visão e linguagem é o tipo mais comum de modelo multimodal e recebe texto e imagens. Multimodal é o termo mais amplo e também cobre áudio e vídeo.

Posso enviar áudio para um modelo de chat na BroadNet?

A documentação da BroadNet lista áudio apenas no endpoint de transcrição. Transcreva o áudio primeiro e depois envie o texto para um modelo de chat.

Imagens custam mais que texto?

Nas chaves de pagamento por uso da BroadNet, uma imagem é cobrada como tokens de entrada pelo preço de entrada do modelo, e uma imagem maior usa mais tokens. Em um plano, as imagens entram no preço fixo.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity