Визуально-языковая модель позволяет задавать вопросы об изображении так же, как о тексте.
Как это работает
Hugging Face описывает такие модели просто: они “take in an image and text prompt and output text” (перевод: «принимают изображение и текстовый промпт и выдают текст»). Их обучают на парах «изображение — текст», так что они учатся связывать увиденное с языком.
В OpenAI-совместимом API изображение передаётся внутри сообщения как часть контента. Это может быть публичный URL или data URL в base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Модель превращает изображение во входные токены, читает их вместе с вашим текстом и пишет ответ.
Почему это важно
- Документы. Счета, чеки, анкеты и удостоверения можно отправлять прямо в модель, часто вместе со структурированным выводом, чтобы получить поля в виде JSON.
- Экраны и графики. Агенты могут читать скриншоты и дашборды, а инструменты поддержки — фотографии, которые присылают пользователи.
- Стоимость и лимиты. Каждое изображение добавляет входные токены и занимает часть контекстного окна. Много изображений в одном запросе быстро складываются.
Проверяйте результат. VLM могут неверно прочитать мелкий или размытый текст и уверенно назвать неправильные числа. Если от результата зависят деньги, проверяйте итоговые суммы в коде.
В BroadNet Inference
Изображения принимают три чат-модели:
| Модель | Вход | Контекст |
|---|---|---|
| DeepSeek V4.1 Flash | Текст и изображения | 1 048 576 токенов |
| Qwen3.8 27B | Текст и изображения | 262 144 токена |
| BroadNet Gemma 4 VL 26B | Текст и изображения | 32 768 токенов |
GLM 5.3 работает только с текстом. BroadNet Gemma 4 VL 26B стоит $0.10 за 1M входных токенов и доступна на бесплатном стартовом гранте $5. Qwen3.8 27B BroadNet тестировала на арабском, и она также поддерживает структурированный вывод. При оплате по факту изображение считается входными токенами, и крупные изображения занимают больше.
Руководство по арабским счетам разбирает извлечение данных целиком. Указывайте в data URL правильный MIME-тип и оставляйте запас в max_tokens у моделей с рассуждением.