„Multimodal“ sagt Ihnen, was ein Modell entgegennehmen kann. Prüfen Sie immer die genaue Liste, denn zwei Modelle, die beide multimodal heißen, können recht unterschiedliche Eingaben akzeptieren.
So funktioniert es
Jede Eingabeart wird in dasselbe umgewandelt, was das Sprachmodell ohnehin liest: eine Folge von Vektoren in seinem Kontextfenster. Text läuft durch den Tokenizer. Ein Bild läuft durch einen Vision-Encoder und wird zu einem Block aus Bild-Tokens. Video wird meist als Folge von Einzelbildern verarbeitet, Audio über einen Audio-Encoder.
Model Cards zeigen, wie genau das wird, sogar innerhalb einer Modellfamilie:
| Modell | Eingaben laut Model Card | Ausgabe |
|---|---|---|
| Gemma 4 26B A4B | Text, Bild, Video als Einzelbilder; kein Audio (Google listet Audio nur für die Größen E2B, E4B und 12B) | Text |
| Qwen3.8 27B | Text, Bild, Video | Text |
Auch APIs teilen die Arbeit nach Endpoint auf. Der Audio-Leitfaden von OpenAI zum Beispiel schickt die Transkription von Dateien an einen Speech-to-Text-Endpoint und verweist Chat-Apps, die Audio brauchen, auf eine eigene Funktion für Audio im Chat.
Der engere Begriff für Text plus Bilder ist Vision-Language-Modell.
Warum es wichtig ist
- Kosten. Eingaben, die kein Text sind, werden in Tokens umgerechnet oder pro Medieneinheit abgerechnet. Bei BroadNet verbraucht ein größeres Bild mehr Input-Tokens, verkleinern Sie es also auf die Detailtiefe, die Sie brauchen.
- Architektur. Wenn kein einzelnes Modell alle Ihre Eingaben akzeptiert, verketten Sie Modelle: zuerst Speech-to-Text, dann ein Text- oder Vision-Modell.
- Qualitätsprüfung. Eine gedruckte Rechnung, ein Diagramm oder eine handschriftliche Notiz zu lesen, sind verschiedene Fähigkeiten. Testen Sie die Modalität mit Ihren eigenen Dokumenten, nicht nur mit einem Demo-Bild.
Bei BroadNet Inference
Die Dokumentation von BroadNet listet diese Eingaben pro Modell:
| Modell | Eingabe |
|---|---|
| DeepSeek V4.1 Flash | Text und Bilder |
| GLM 5.3 | Text |
| Qwen3.8 27B | Text und Vision |
| BroadNet Gemma 4 VL 26B | Text und Bilder |
| BroadNet Transcribe Arabic / BroadNet Transcribe | Audio, über /v1/audio/transcriptions |
Bilder gehen an /v1/chat/completions, als data:-URL in der Content-Liste der Nachricht; die Anleitung zu arabischen Rechnungen hat ein vollständiges Beispiel. Audio ist eine eigene Anfrage: WAV oder MP3 bis 26.214.400 Bytes, mit gesetztem language, wie in der Anleitung zu WhatsApp-Sprachnachrichten. Ein Assistent für Sprachnachrichten macht daher zwei Aufrufe: erst transkribieren, dann chatten.