“Multimodale” ti dice cosa può ricevere un modello. Controlla sempre l’elenco esatto, perché due modelli entrambi definiti multimodali possono accettare input molto diversi.
Come funziona
Ogni tipo di input viene trasformato nella stessa cosa che il modello linguistico già legge: una sequenza di vettori nella sua finestra di contesto. Il testo passa dal tokenizer. Un’immagine passa da un encoder visivo e diventa un blocco di token immagine. Il video di solito viene trattato come una serie di fotogrammi, e l’audio passa da un encoder audio.
Le model card mostrano quanto possa essere specifico, anche all’interno di una stessa famiglia:
| Modello | Input indicati nella model card | Output |
|---|---|---|
| Gemma 4 26B A4B | testo, immagini, video come fotogrammi; niente audio (Google indica l’audio solo per le taglie E2B, E4B e 12B) | testo |
| Qwen3.8 27B | testo, immagini, video | testo |
Anche le API dividono il lavoro per endpoint. La guida audio di OpenAI, per esempio, manda la trascrizione di file a un endpoint speech-to-text e rimanda le app di chat che hanno bisogno di audio a una funzione separata di audio in chat.
Il termine più ristretto per testo più immagini è modello vision-language.
Perché è importante
- Costo. Gli input non testuali vengono convertiti in token o fatturati per unità di media. Su BroadNet un’immagine più grande usa più token di input, quindi ridimensionala al dettaglio che ti serve.
- Architettura. Se nessun modello accetta da solo tutti i tuoi input, concatena più modelli: prima lo speech-to-text, poi un modello testuale o vision.
- Verifiche di qualità. Leggere una fattura stampata, un grafico o un appunto scritto a mano sono abilità diverse. Testa la modalità sui tuoi documenti, non solo su un’immagine demo.
Su BroadNet Inference
La documentazione di BroadNet elenca questi input per modello:
| Modello | Input |
|---|---|
| DeepSeek V4.1 Flash | testo e immagini |
| GLM 5.3 | testo |
| Qwen3.8 27B | testo e visione |
| BroadNet Gemma 4 VL 26B | testo e immagini |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, su /v1/audio/transcriptions |
Le immagini vanno a /v1/chat/completions come URL data: nella lista dei contenuti del messaggio; la guida alle fatture in arabo ha un esempio completo. L’audio è una richiesta separata: WAV o MP3 fino a 26.214.400 byte, con language impostato, come nella guida ai messaggi vocali di WhatsApp. Un assistente per messaggi vocali fa quindi due chiamate: trascrizione, poi chat.