BroadRouter
Comenzar

IA multimodal (multimodal AI)

Actualizado

La IA multimodal es un modelo o sistema que trabaja con más de un tipo de datos, como texto, imágenes, vídeo y audio. Un modelo multimodal puede leer una foto y una pregunta a la vez, o recibir voz y responder en texto. El modelo de visión y lenguaje es el tipo más común.

También llamado: multimodal, IA multimodal, modelo multimodal, entrada multimodal, modalidades, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Multimodal” le indica qué puede recibir un modelo. Revise siempre la lista exacta, porque dos modelos llamados multimodales pueden aceptar entradas bastante distintas.

Cómo funciona

Cada tipo de entrada se convierte en lo mismo que el modelo de lenguaje ya lee: una secuencia de vectores en su ventana de contexto. El texto pasa por el tokenizador. Una imagen pasa por un codificador visual (vision encoder) y se convierte en un bloque de tokens de imagen. El vídeo suele procesarse como una serie de fotogramas, y el audio mediante un codificador de audio.

Las model cards muestran lo específico que llega a ser esto, incluso dentro de una misma familia:

Modelo Entradas indicadas en su model card Salida
Gemma 4 26B A4B texto, imagen, vídeo como fotogramas; sin audio (Google indica audio solo para los tamaños E2B, E4B y 12B) texto
Qwen3.8 27B texto, imagen, vídeo texto

Las APIs también reparten el trabajo por endpoint. La guía de audio de OpenAI, por ejemplo, envía la transcripción de archivos a un endpoint de voz a texto y remite a las aplicaciones de chat que necesitan audio a una función aparte de audio en el chat.

El término más acotado para texto más imágenes es modelo de visión y lenguaje.

Por qué importa

  • Coste. Las entradas que no son texto se convierten en tokens o se facturan por unidad de contenido. En BroadNet, una imagen más grande usa más tokens de entrada, así que redimensione al nivel de detalle que necesita.
  • Arquitectura. Si ningún modelo acepta todas sus entradas, encadene modelos: primero voz a texto y luego un modelo de texto o de visión.
  • Controles de calidad. Leer una factura impresa, un gráfico o una nota manuscrita son habilidades distintas. Pruebe la modalidad con sus propios documentos, no solo con una imagen de demostración.

En BroadNet Inference

La documentación de BroadNet indica estas entradas por modelo:

Modelo Entrada
DeepSeek V4.1 Flash texto e imágenes
GLM 5.3 texto
Qwen3.8 27B texto y visión
BroadNet Gemma 4 VL 26B texto e imágenes
BroadNet Transcribe Arabic / BroadNet Transcribe audio, en /v1/audio/transcriptions

Las imágenes van a /v1/chat/completions como una URL data: dentro de la lista de contenido del mensaje; la guía de facturas en árabe tiene un ejemplo completo. El audio es una solicitud aparte: WAV o MP3 de hasta 26,214,400 bytes, con language definido, como en la guía de notas de voz de WhatsApp. Por eso, un asistente de notas de voz hace dos llamadas: transcribir y luego chatear.

Preguntas frecuentes

¿Un modelo de visión y lenguaje es multimodal?

Sí. Un modelo de visión y lenguaje es el tipo más común de modelo multimodal: acepta texto e imágenes. Multimodal es el término más amplio y también abarca audio y vídeo.

¿Puedo enviar audio a un modelo de chat en BroadNet?

La documentación de BroadNet solo indica audio en el endpoint de transcripción. Transcriba primero el audio y luego envíe el texto a un modelo de chat.

¿Las imágenes cuestan más que el texto?

En las claves de pago por uso de BroadNet, una imagen se factura como tokens de entrada al precio de entrada del modelo, y una imagen más grande usa más tokens. En un plan, las imágenes forman parte del precio fijo.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity