BroadRouter
ابدأ الآن

نموذج الرؤية واللغة (Vision-language model)

آخر تحديث

نموذج الرؤية واللغة (VLM) نموذج يستقبل الصور والنص معًا مدخلاتٍ ويُنتج نصًا، فيستطيع وصف الصور والإجابة عن أسئلة حولها وقراءة المستندات والرسوم البيانية ولقطات الشاشة. وتُسمّى هذه النماذج أيضًا نماذج image-text-to-text أو النماذج متعددة الوسائط.

يُسمّى أيضًا: نموذج رؤية، نموذج لغوي بصري، نموذج الرؤية اللغوي، نموذج لغة متعدد الوسائط، قراءة الصور بالذكاء الاصطناعي، VLM، vision-language model، vision model، multimodal LLM، image-text-to-text model، vision API

يتيح لك نموذج الرؤية واللغة أن تسأل عن صورة كما تسأل عن نص.

كيف يعمل

تصف Hugging Face هذه النماذج ببساطة: “take in an image and text prompt and output text.” (ترجمة: تستقبل صورة وموجّهًا نصيًا وتُخرج نصًا). وهي مدرّبة على أزواج من الصور والنصوص، فتتعلّم ربط ما تراه باللغة.

عبر واجهة API متوافقة مع OpenAI، تُوضع الصورة داخل الرسالة جزءًا من المحتوى (content part). ويمكن أن تكون رابطًا عامًا أو رابط بيانات بترميز base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

يحوّل النموذج الصورة إلى رموز إدخال، ويقرؤها مع نصك، ثم يكتب الإجابة.

لماذا يهم

  • المستندات. يمكن إرسال الفواتير والإيصالات والنماذج والهويات مباشرةً إلى النموذج، وغالبًا مع المخرجات المنظَّمة لاستعادة الحقول بصيغة JSON.
  • الشاشات والرسوم البيانية. تستطيع الوكلاء قراءة لقطات الشاشة ولوحات المعلومات، وتستطيع أدوات الدعم قراءة الصور التي يرسلها المستخدمون.
  • التكلفة والحدود. كل صورة تضيف رموز إدخال وتملأ جزءًا من نافذة السياق. والصور الكثيرة في طلب واحد تتراكم بسرعة.

تحقّق من النتيجة. قد تخطئ نماذج VLM في قراءة النص الصغير أو المشوّش، وقد تذكر أرقامًا خاطئة بثقة. وفي كل ما يتعلق بالمال، تحقّق من الإجماليات في الشيفرة.

في BroadNet Inference

ثلاثة نماذج محادثة تقبل الصور:

النموذج الإدخال السياق
DeepSeek V4.1 Flash نص وصورة 1,048,576 رمزًا
Qwen3.8 27B نص وصورة 262,144 رمزًا
BroadNet Gemma 4 VL 26B نص وصورة 32,768 رمزًا

نموذج GLM 5.3 نصي فقط. ويكلّف BroadNet Gemma 4 VL 26B مبلغ $0.10 لكل مليون رمز إدخال، ويعمل بالرصيد المبدئي المجاني البالغ $5. واختبرت BroadNet نموذج Qwen3.8 27B بالعربية، وهو يدعم المخرجات المنظَّمة أيضًا. وفي الدفع حسب الاستخدام، تُحتسب الصورة رموز إدخال، والصور الأكبر تستهلك أكثر.

ويشرح دليل الفواتير العربية عملية استخراج كاملة. احرص على دقة نوع MIME في رابط البيانات، واترك مساحة في max_tokens مع نماذج الاستدلال المنطقي.

أسئلة شائعة

هل نموذج الرؤية واللغة هو نفسه OCR؟

لا. يحوّل OCR النص المطبوع في الصورة إلى حروف. ويستطيع VLM قراءة النص أيضًا، لكنه يفهم التخطيط والمحتوى، فيجيب عن أسئلة مثل: أي سطر هو الإجمالي، أو ماذا يُظهر الرسم البياني.

هل تستهلك الصور رموزًا (توكنز)؟

نعم. تُحوَّل الصور إلى رموز إدخال. والصور الأكبر تستهلك عادةً أكثر، فصغّرها إلى أقل حجم يحافظ على التفاصيل التي تحتاج إليها.

أي نماذج BroadNet تقبل الصور؟

تقبل DeepSeek V4.1 Flash وQwen3.8 27B وBroadNet Gemma 4 VL 26B مدخلات نصية وصورًا. أما GLM 5.3 فنصي فقط.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity