BroadRouter
Loslegen

Vision-Language-Modell (VLM)

Aktualisiert

Ein Vision-Language-Modell (VLM) ist ein Modell, das Bilder und Text zusammen als Eingabe nimmt und Text erzeugt. So kann es Bilder beschreiben, Fragen zu ihnen beantworten und Dokumente, Diagramme oder Screenshots lesen. VLMs heißen auch Image-Text-to-Text- oder multimodale Modelle.

Auch genannt: VLM, multimodales LLM, Vision-Modell, Bild-zu-Text-Modell, vision model, multimodal LLM, image-text-to-text model, vision API

Mit einem Vision-Language-Modell stellen Sie Fragen zu einem Bild genauso wie zu einem Text.

So funktioniert es

Hugging Face beschreibt diese Modelle schlicht: Sie „take in an image and text prompt and output text“ (Übersetzung: „nehmen ein Bild und einen Text-Prompt entgegen und geben Text aus“). Sie werden mit Bild-Text-Paaren trainiert und lernen so, das Gesehene mit Sprache zu verbinden.

Über eine OpenAI-kompatible API steckt das Bild als Content-Part in der Nachricht. Das kann eine öffentliche URL oder eine Base64-Data-URL sein:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Das Modell wandelt das Bild in Input-Tokens um, liest sie zusammen mit Ihrem Text und schreibt eine Antwort.

Warum es wichtig ist

  • Dokumente. Rechnungen, Belege, Formulare und Ausweise können direkt an ein Modell gehen, oft mit Structured Output, um Felder als JSON zurückzubekommen.
  • Bildschirme und Diagramme. Agenten können Screenshots und Dashboards lesen; Support-Tools können Fotos lesen, die Nutzer schicken.
  • Kosten und Limits. Jedes Bild fügt Input-Tokens hinzu und füllt einen Teil des Kontextfensters. Viele Bilder in einem Request summieren sich schnell.

Prüfen Sie das Ergebnis. VLMs können kleinen oder unscharfen Text falsch lesen und falsche Zahlen selbstsicher angeben. Bei allem, was Geld bewegt, validieren Sie Summen im Code.

Bei BroadNet Inference

Drei Chat-Modelle akzeptieren Bilder:

Modell Eingabe Kontext
DeepSeek V4.1 Flash Text und Bild 1.048.576 Tokens
Qwen3.8 27B Text und Bild 262.144 Tokens
BroadNet Gemma 4 VL 26B Text und Bild 32.768 Tokens

GLM 5.3 verarbeitet nur Text. BroadNet Gemma 4 VL 26B kostet $0.10 pro 1 Mio. Input-Tokens und funktioniert mit dem kostenlosen Startguthaben von $5. Qwen3.8 27B wurde von BroadNet auf Arabisch getestet und unterstützt außerdem Structured Output. Bei Pay-as-you-go zählt ein Bild als Input-Tokens, und größere Bilder verbrauchen mehr.

Die Anleitung zu arabischen Rechnungen zeigt eine vollständige Extraktion. Halten Sie den MIME-Typ in der Data-URL korrekt, und lassen Sie bei Reasoning-Modellen Spielraum in max_tokens.

Häufige Fragen

Ist ein Vision-Language-Modell dasselbe wie OCR?

Nein. OCR wandelt gedruckten Text in einem Bild in Zeichen um. Ein VLM kann ebenfalls Text lesen, versteht aber Layout und Inhalt, sodass es Fragen beantworten kann wie die, welche Zeile die Gesamtsumme ist oder was ein Diagramm zeigt.

Kosten Bilder Tokens?

Ja. Bilder werden in Input-Tokens umgewandelt. Größere Bilder verbrauchen meist mehr, verkleinern Sie sie also auf die kleinste Größe, die die nötigen Details noch zeigt.

Welche BroadNet-Modelle akzeptieren Bilder?

DeepSeek V4.1 Flash, Qwen3.8 27B und BroadNet Gemma 4 VL 26B nehmen Text- und Bildeingaben an. GLM 5.3 verarbeitet nur Text.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen