Vision-language model cho phép bạn đặt câu hỏi về một bức ảnh giống như hỏi về văn bản.
Cách hoạt động
Hugging Face mô tả các model này rất đơn giản: chúng “take in an image and text prompt and output text.” (Bản dịch: nhận một ảnh và một prompt văn bản rồi xuất ra văn bản.) Chúng được huấn luyện trên các cặp ảnh–văn bản, nên học được cách nối những gì nhìn thấy với ngôn ngữ.
Qua một API tương thích OpenAI, ảnh được đặt bên trong message dưới dạng một content part. Đó có thể là một URL công khai hoặc một data URL base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Model chuyển ảnh thành token đầu vào, đọc chúng cùng văn bản của bạn và viết câu trả lời.
Vì sao quan trọng
- Tài liệu. Hóa đơn, biên lai, biểu mẫu và giấy tờ tùy thân có thể gửi thẳng cho model, thường kèm đầu ra có cấu trúc để nhận lại các trường dưới dạng JSON.
- Màn hình và biểu đồ. Agent có thể đọc ảnh chụp màn hình và dashboard; công cụ hỗ trợ khách hàng có thể đọc ảnh người dùng gửi.
- Chi phí và giới hạn. Mỗi ảnh thêm token đầu vào và chiếm một phần context window. Nhiều ảnh trong một request cộng dồn rất nhanh.
Hãy kiểm tra kết quả. VLM có thể đọc sai chữ nhỏ hoặc mờ, và có thể nêu sai con số một cách đầy tự tin. Với bất cứ thứ gì liên quan đến tiền, hãy kiểm tra tổng bằng code.
Trên BroadNet Inference
Ba chat model nhận ảnh:
| Model | Đầu vào | Ngữ cảnh |
|---|---|---|
| DeepSeek V4.1 Flash | Văn bản và ảnh | 1.048.576 token |
| Qwen3.8 27B | Văn bản và ảnh | 262.144 token |
| BroadNet Gemma 4 VL 26B | Văn bản và ảnh | 32.768 token |
GLM 5.3 chỉ nhận văn bản. BroadNet Gemma 4 VL 26B có giá $0.10 cho mỗi 1 triệu token đầu vào và dùng được với tín dụng ban đầu miễn phí $5. Qwen3.8 27B đã được BroadNet thử nghiệm bằng tiếng Ả Rập và cũng hỗ trợ đầu ra có cấu trúc. Với gói trả theo mức dùng, một ảnh được tính là token đầu vào, và ảnh lớn hơn tốn nhiều hơn.
Hướng dẫn đọc hóa đơn tiếng Ả Rập đi qua toàn bộ quy trình trích xuất. Hãy để MIME type trong data URL chính xác, và chừa đủ chỗ trong max_tokens với các model suy luận.