BroadRouter
شروع کریں

ویژن لینگویج ماڈل (VLM)

اپ ڈیٹ

ویژن لینگویج ماڈل (VLM) ایسا ماڈل ہے جو تصویر اور متن کو ایک ساتھ ان پٹ کے طور پر لے کر متن بناتا ہے، تاکہ وہ تصویروں کی وضاحت کر سکے، ان کے بارے میں سوالوں کے جواب دے سکے اور دستاویزات، چارٹس یا اسکرین شاٹس پڑھ سکے۔ VLM کو image-text-to-text یا multimodal ماڈل بھی کہتے ہیں۔

دوسرے نام: ویژن ماڈل، ویژن لینگویج ماڈل، تصویر پڑھنے والا AI، vlm kya hai، vision language model kya hai، VLM، vision model، multimodal LLM، image-text-to-text model، vision API

ویژن لینگویج ماڈل سے آپ کسی تصویر کے بارے میں ویسے ہی سوال پوچھ سکتے ہیں جیسے متن کے بارے میں پوچھتے ہیں۔

یہ کیسے کام کرتا ہے

Hugging Face ان ماڈلز کی سیدھی وضاحت کرتا ہے: یہ “take in an image and text prompt and output text.” (ترجمہ: ایک تصویر اور متنی پرامپٹ لیتے ہیں اور متن دیتے ہیں۔) انہیں تصویر-متن کے جوڑوں پر تربیت دی جاتی ہے، اس لیے یہ جو دیکھتے ہیں اسے زبان سے جوڑنا سیکھتے ہیں۔

OpenAI-compatible API میں تصویر پیغام کے اندر ایک content part کے طور پر جاتی ہے۔ یہ کوئی پبلک URL یا base64 data URL ہو سکتا ہے:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

ماڈل تصویر کو ان پٹ ٹوکنز میں بدلتا ہے، انہیں آپ کے متن کے ساتھ پڑھتا ہے اور جواب لکھتا ہے۔

یہ کیوں اہم ہے

  • دستاویزات۔ انوائسز، رسیدیں، فارم اور شناختی کارڈ سیدھے ماڈل کو بھیجے جا سکتے ہیں، اکثر structured output کے ساتھ تاکہ فیلڈز JSON میں واپس ملیں۔
  • اسکرینیں اور چارٹس۔ ایجنٹس اسکرین شاٹس اور ڈیش بورڈز پڑھ سکتے ہیں؛ سپورٹ ٹولز صارفین کی بھیجی تصویریں پڑھ سکتے ہیں۔
  • لاگت اور حدود۔ ہر تصویر ان پٹ ٹوکنز بڑھاتی ہے اور کانٹیکسٹ ونڈو کا ایک حصہ بھرتی ہے۔ ایک درخواست میں کئی تصویریں جلد جمع ہو جاتی ہیں۔

نتیجہ جانچیں۔ VLM چھوٹا یا دھندلا متن غلط پڑھ سکتے ہیں اور غلط اعداد پورے اعتماد سے بتا سکتے ہیں۔ پیسوں سے جڑی کسی بھی چیز کے لیے ٹوٹل کو کوڈ میں ویلیڈیٹ کریں۔

BroadNet Inference پر

تین چیٹ ماڈل تصویریں لیتے ہیں:

ماڈل ان پٹ کانٹیکسٹ
DeepSeek V4.1 Flash متن اور تصویر 1,048,576 ٹوکن
Qwen3.8 27B متن اور تصویر 262,144 ٹوکن
BroadNet Gemma 4 VL 26B متن اور تصویر 32,768 ٹوکن

GLM 5.3 صرف متن والا ہے۔ BroadNet Gemma 4 VL 26B کی قیمت فی دس لاکھ ان پٹ ٹوکن $0.10 ہے اور یہ $5 کے مفت ابتدائی کریڈٹ پر چلتا ہے۔ Qwen3.8 27B کو BroadNet نے عربی میں ٹیسٹ کیا ہے اور یہ structured output بھی سپورٹ کرتا ہے۔ استعمال کے مطابق ادائیگی (pay-as-you-go) پر تصویر ان پٹ ٹوکنز کے طور پر گنی جاتی ہے، اور بڑی تصویریں زیادہ ٹوکن لیتی ہیں۔

عربی انوائس گائیڈ پورا extraction مرحلہ وار دکھاتی ہے۔ data URL میں MIME ٹائپ درست رکھیں، اور reasoning ماڈلز پر max_tokens میں گنجائش چھوڑیں۔

عام سوالات

کیا ویژن لینگویج ماڈل اور OCR ایک ہی چیز ہیں؟

نہیں۔ OCR تصویر میں چھپے متن کو حروف میں بدلتا ہے۔ VLM بھی متن پڑھ سکتا ہے، مگر وہ لے آؤٹ اور مواد سمجھتا ہے، اس لیے ایسے سوالوں کا جواب دے سکتا ہے کہ کون سی لائن ٹوٹل ہے یا چارٹ کیا دکھاتا ہے۔

کیا تصویروں پر ٹوکن خرچ ہوتے ہیں؟

ہاں۔ تصویریں ان پٹ ٹوکنز میں بدلی جاتی ہیں۔ بڑی تصویریں عموماً زیادہ ٹوکن لیتی ہیں، اس لیے انہیں اس سب سے چھوٹے سائز پر ری سائز کریں جس میں ضروری تفصیل باقی رہے۔

BroadNet کے کون سے ماڈل تصویریں لیتے ہیں؟

DeepSeek V4.1 Flash، Qwen3.8 27B اور BroadNet Gemma 4 VL 26B متن اور تصویر کا ان پٹ لیتے ہیں۔ GLM 5.3 صرف متن والا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں