Görsel-dil modeli, bir görsel hakkında metin hakkında sorar gibi soru sormanızı sağlar.
Nasıl çalışır
Hugging Face bu modelleri basitçe tanımlar: “take in an image and text prompt and output text.” (çeviri: bir görsel ve metin istemi alır, metin üretir.) Görsel-metin çiftleriyle eğitildikleri için gördüklerini dille ilişkilendirmeyi öğrenirler.
OpenAI uyumlu bir API’de görsel, mesajın içinde bir içerik parçası (content part) olarak gider. Herkese açık bir URL veya base64 veri URL’si olabilir:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Model görseli girdi token’larına dönüştürür, bunları metninizle birlikte okur ve bir yanıt yazar.
Neden önemli
- Belgeler. Faturalar, fişler, formlar ve kimlikler doğrudan bir modele gönderilebilir; alanları JSON olarak almak için çoğu zaman yapılandırılmış çıktıyla birlikte.
- Ekranlar ve grafikler. Ajanlar ekran görüntülerini ve panoları okuyabilir; destek araçları kullanıcıların gönderdiği fotoğrafları okuyabilir.
- Maliyet ve sınırlar. Her görsel girdi token’ı ekler ve bağlam penceresinin bir kısmını doldurur. Tek istekteki çok sayıda görsel hızla birikir.
Sonucu kontrol edin. VLM’ler küçük veya bulanık metni yanlış okuyabilir ve yanlış sayıları kendinden emin biçimde söyleyebilir. Para hareketi içeren her şeyde toplamları kodla doğrulayın.
BroadNet Inference’ta
Üç sohbet modeli görsel kabul ediyor:
| Model | Girdi | Bağlam |
|---|---|---|
| DeepSeek V4.1 Flash | Metin ve görsel | 1.048.576 token |
| Qwen3.8 27B | Metin ve görsel | 262.144 token |
| BroadNet Gemma 4 VL 26B | Metin ve görsel | 32.768 token |
GLM 5.3 yalnızca metin alır. BroadNet Gemma 4 VL 26B, 1M girdi token’ı başına $0.10 tutar ve ücretsiz $5 başlangıç kredisiyle çalışır. Qwen3.8 27B, BroadNet tarafından Arapçada test edildi ve yapılandırılmış çıktıyı da destekliyor. Kullandıkça öde planında bir görsel girdi token’ı olarak sayılır ve büyük görseller daha fazla token kullanır.
Arapça fatura rehberi eksiksiz bir veri çıkarma akışını adım adım anlatıyor. Veri URL’sindeki MIME türünü doğru tutun ve akıl yürütme modellerinde max_tokens için pay bırakın.