“Multimodal” le indica qué puede recibir un modelo. Revise siempre la lista exacta, porque dos modelos llamados multimodales pueden aceptar entradas bastante distintas.
Cómo funciona
Cada tipo de entrada se convierte en lo mismo que el modelo de lenguaje ya lee: una secuencia de vectores en su ventana de contexto. El texto pasa por el tokenizador. Una imagen pasa por un codificador visual (vision encoder) y se convierte en un bloque de tokens de imagen. El vídeo suele procesarse como una serie de fotogramas, y el audio mediante un codificador de audio.
Las model cards muestran lo específico que llega a ser esto, incluso dentro de una misma familia:
| Modelo | Entradas indicadas en su model card | Salida |
|---|---|---|
| Gemma 4 26B A4B | texto, imagen, vídeo como fotogramas; sin audio (Google indica audio solo para los tamaños E2B, E4B y 12B) | texto |
| Qwen3.8 27B | texto, imagen, vídeo | texto |
Las APIs también reparten el trabajo por endpoint. La guía de audio de OpenAI, por ejemplo, envía la transcripción de archivos a un endpoint de voz a texto y remite a las aplicaciones de chat que necesitan audio a una función aparte de audio en el chat.
El término más acotado para texto más imágenes es modelo de visión y lenguaje.
Por qué importa
- Coste. Las entradas que no son texto se convierten en tokens o se facturan por unidad de contenido. En BroadNet, una imagen más grande usa más tokens de entrada, así que redimensione al nivel de detalle que necesita.
- Arquitectura. Si ningún modelo acepta todas sus entradas, encadene modelos: primero voz a texto y luego un modelo de texto o de visión.
- Controles de calidad. Leer una factura impresa, un gráfico o una nota manuscrita son habilidades distintas. Pruebe la modalidad con sus propios documentos, no solo con una imagen de demostración.
En BroadNet Inference
La documentación de BroadNet indica estas entradas por modelo:
| Modelo | Entrada |
|---|---|
| DeepSeek V4.1 Flash | texto e imágenes |
| GLM 5.3 | texto |
| Qwen3.8 27B | texto y visión |
| BroadNet Gemma 4 VL 26B | texto e imágenes |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, en /v1/audio/transcriptions |
Las imágenes van a /v1/chat/completions como una URL data: dentro de la lista de contenido del mensaje; la guía de facturas en árabe tiene un ejemplo completo. El audio es una solicitud aparte: WAV o MP3 de hasta 26,214,400 bytes, con language definido, como en la guía de notas de voz de WhatsApp. Por eso, un asistente de notas de voz hace dos llamadas: transcribir y luego chatear.