BroadRouter
Inizia

AI multimodale (multimodal AI)

Aggiornato

L’AI multimodale è un modello o un sistema che lavora con più di un tipo di dato, come testo, immagini, video e audio. Un modello multimodale può leggere insieme una foto e una domanda, oppure ricevere parlato e rispondere in testo. Il tipo più comune è il modello vision-language.

Detto anche: AI multimodale, IA multimodale, modello multimodale, LLM multimodale, input multimodale, modalità, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Multimodale” ti dice cosa può ricevere un modello. Controlla sempre l’elenco esatto, perché due modelli entrambi definiti multimodali possono accettare input molto diversi.

Come funziona

Ogni tipo di input viene trasformato nella stessa cosa che il modello linguistico già legge: una sequenza di vettori nella sua finestra di contesto. Il testo passa dal tokenizer. Un’immagine passa da un encoder visivo e diventa un blocco di token immagine. Il video di solito viene trattato come una serie di fotogrammi, e l’audio passa da un encoder audio.

Le model card mostrano quanto possa essere specifico, anche all’interno di una stessa famiglia:

Modello Input indicati nella model card Output
Gemma 4 26B A4B testo, immagini, video come fotogrammi; niente audio (Google indica l’audio solo per le taglie E2B, E4B e 12B) testo
Qwen3.8 27B testo, immagini, video testo

Anche le API dividono il lavoro per endpoint. La guida audio di OpenAI, per esempio, manda la trascrizione di file a un endpoint speech-to-text e rimanda le app di chat che hanno bisogno di audio a una funzione separata di audio in chat.

Il termine più ristretto per testo più immagini è modello vision-language.

Perché è importante

  • Costo. Gli input non testuali vengono convertiti in token o fatturati per unità di media. Su BroadNet un’immagine più grande usa più token di input, quindi ridimensionala al dettaglio che ti serve.
  • Architettura. Se nessun modello accetta da solo tutti i tuoi input, concatena più modelli: prima lo speech-to-text, poi un modello testuale o vision.
  • Verifiche di qualità. Leggere una fattura stampata, un grafico o un appunto scritto a mano sono abilità diverse. Testa la modalità sui tuoi documenti, non solo su un’immagine demo.

Su BroadNet Inference

La documentazione di BroadNet elenca questi input per modello:

Modello Input
DeepSeek V4.1 Flash testo e immagini
GLM 5.3 testo
Qwen3.8 27B testo e visione
BroadNet Gemma 4 VL 26B testo e immagini
BroadNet Transcribe Arabic / BroadNet Transcribe audio, su /v1/audio/transcriptions

Le immagini vanno a /v1/chat/completions come URL data: nella lista dei contenuti del messaggio; la guida alle fatture in arabo ha un esempio completo. L’audio è una richiesta separata: WAV o MP3 fino a 26.214.400 byte, con language impostato, come nella guida ai messaggi vocali di WhatsApp. Un assistente per messaggi vocali fa quindi due chiamate: trascrizione, poi chat.

Domande frequenti

Un modello vision-language è multimodale?

Sì. Il modello vision-language è il tipo più comune di modello multimodale e accetta testo e immagini. Multimodale è il termine più ampio e copre anche audio e video.

Posso inviare audio a un modello di chat su BroadNet?

La documentazione di BroadNet elenca l’audio solo sull’endpoint di trascrizione. Trascrivi prima l’audio, poi invia il testo a un modello di chat.

Le immagini costano più del testo?

Con le chiavi a consumo di BroadNet un’immagine viene fatturata come token di input al prezzo di input del modello, e un’immagine più grande usa più token. Con un piano, le immagini rientrano nel prezzo flat.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity