Vision-language model memungkinkan Anda bertanya tentang gambar dengan cara yang sama seperti bertanya tentang teks.
Cara kerjanya
Hugging Face menjelaskan model ini dengan sederhana: mereka “take in an image and text prompt and output text.” (terjemahan: menerima gambar dan prompt teks lalu menghasilkan teks.) Model ini dilatih dengan pasangan gambar-teks, sehingga belajar menghubungkan apa yang dilihat dengan bahasa.
Melalui API yang kompatibel dengan OpenAI, gambar dikirim di dalam pesan sebagai content part. Bentuknya bisa URL publik atau data URL base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Model mengubah gambar menjadi token input, membacanya bersama teks Anda, lalu menulis jawaban.
Mengapa penting
- Dokumen. Invoice, struk, formulir, dan kartu identitas bisa langsung dikirim ke model, sering kali dengan output terstruktur agar field-nya kembali sebagai JSON.
- Layar dan grafik. Agen bisa membaca screenshot dan dashboard; tool support bisa membaca foto yang dikirim pengguna.
- Biaya dan batas. Setiap gambar menambah token input dan mengisi sebagian context window. Banyak gambar dalam satu request cepat menumpuk.
Periksa hasilnya. VLM bisa salah membaca teks kecil atau buram dan bisa menyebut angka yang salah dengan percaya diri. Untuk apa pun yang menyangkut uang, validasi total di kode.
Di BroadNet Inference
Tiga model chat menerima gambar:
| Model | Input | Konteks |
|---|---|---|
| DeepSeek V4.1 Flash | Teks dan gambar | 1.048.576 token |
| Qwen3.8 27B | Teks dan gambar | 262.144 token |
| BroadNet Gemma 4 VL 26B | Teks dan gambar | 32.768 token |
GLM 5.3 hanya teks. BroadNet Gemma 4 VL 26B berharga $0.10 per 1M token input dan bisa dipakai dengan kredit awal gratis $5. Qwen3.8 27B sudah diuji BroadNet dalam bahasa Arab dan juga mendukung output terstruktur. Pada skema bayar sesuai pemakaian, gambar dihitung sebagai token input, dan gambar yang lebih besar memakai lebih banyak token.
Panduan invoice bahasa Arab membahas ekstraksi lengkap langkah demi langkah. Pastikan MIME type di data URL akurat, dan sisakan ruang di max_tokens untuk model reasoning.