BroadRouter
Loslegen

Multimodale KI (Multimodal AI)

Aktualisiert

Multimodale KI ist ein Modell oder System, das mit mehr als einer Art von Daten arbeitet, etwa Text, Bildern, Video und Audio. Ein multimodales Modell kann zum Beispiel ein Foto zusammen mit einer Frage lesen oder Sprache entgegennehmen und als Text antworten. Ein Vision-Language-Modell ist die häufigste Art.

Auch genannt: multimodales Modell, multimodales KI-Modell, multimodale Eingabe, Multimodalität, Modalitäten, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

„Multimodal“ sagt Ihnen, was ein Modell entgegennehmen kann. Prüfen Sie immer die genaue Liste, denn zwei Modelle, die beide multimodal heißen, können recht unterschiedliche Eingaben akzeptieren.

So funktioniert es

Jede Eingabeart wird in dasselbe umgewandelt, was das Sprachmodell ohnehin liest: eine Folge von Vektoren in seinem Kontextfenster. Text läuft durch den Tokenizer. Ein Bild läuft durch einen Vision-Encoder und wird zu einem Block aus Bild-Tokens. Video wird meist als Folge von Einzelbildern verarbeitet, Audio über einen Audio-Encoder.

Model Cards zeigen, wie genau das wird, sogar innerhalb einer Modellfamilie:

Modell Eingaben laut Model Card Ausgabe
Gemma 4 26B A4B Text, Bild, Video als Einzelbilder; kein Audio (Google listet Audio nur für die Größen E2B, E4B und 12B) Text
Qwen3.8 27B Text, Bild, Video Text

Auch APIs teilen die Arbeit nach Endpoint auf. Der Audio-Leitfaden von OpenAI zum Beispiel schickt die Transkription von Dateien an einen Speech-to-Text-Endpoint und verweist Chat-Apps, die Audio brauchen, auf eine eigene Funktion für Audio im Chat.

Der engere Begriff für Text plus Bilder ist Vision-Language-Modell.

Warum es wichtig ist

  • Kosten. Eingaben, die kein Text sind, werden in Tokens umgerechnet oder pro Medieneinheit abgerechnet. Bei BroadNet verbraucht ein größeres Bild mehr Input-Tokens, verkleinern Sie es also auf die Detailtiefe, die Sie brauchen.
  • Architektur. Wenn kein einzelnes Modell alle Ihre Eingaben akzeptiert, verketten Sie Modelle: zuerst Speech-to-Text, dann ein Text- oder Vision-Modell.
  • Qualitätsprüfung. Eine gedruckte Rechnung, ein Diagramm oder eine handschriftliche Notiz zu lesen, sind verschiedene Fähigkeiten. Testen Sie die Modalität mit Ihren eigenen Dokumenten, nicht nur mit einem Demo-Bild.

Bei BroadNet Inference

Die Dokumentation von BroadNet listet diese Eingaben pro Modell:

Modell Eingabe
DeepSeek V4.1 Flash Text und Bilder
GLM 5.3 Text
Qwen3.8 27B Text und Vision
BroadNet Gemma 4 VL 26B Text und Bilder
BroadNet Transcribe Arabic / BroadNet Transcribe Audio, über /v1/audio/transcriptions

Bilder gehen an /v1/chat/completions, als data:-URL in der Content-Liste der Nachricht; die Anleitung zu arabischen Rechnungen hat ein vollständiges Beispiel. Audio ist eine eigene Anfrage: WAV oder MP3 bis 26.214.400 Bytes, mit gesetztem language, wie in der Anleitung zu WhatsApp-Sprachnachrichten. Ein Assistent für Sprachnachrichten macht daher zwei Aufrufe: erst transkribieren, dann chatten.

Häufige Fragen

Ist ein Vision-Language-Modell multimodal?

Ja. Ein Vision-Language-Modell ist die häufigste Art multimodaler Modelle und nimmt Text und Bilder an. Multimodal ist der weitere Begriff und umfasst auch Audio und Video.

Kann ich bei BroadNet Audio an ein Chat-Modell schicken?

Die Dokumentation von BroadNet führt Audio nur am Transkriptions-Endpoint. Transkribieren Sie das Audio zuerst und senden Sie dann den Text an ein Chat-Modell.

Kosten Bilder mehr als Text?

Bei Pay-as-you-go-Schlüsseln von BroadNet wird ein Bild als Input-Tokens zum Input-Preis des Modells abgerechnet, und ein größeres Bild verbraucht mehr Tokens. In einem Plan sind Bilder im Pauschalpreis enthalten.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen