يتيح لك نموذج الرؤية واللغة أن تسأل عن صورة كما تسأل عن نص.
كيف يعمل
تصف Hugging Face هذه النماذج ببساطة: “take in an image and text prompt and output text.” (ترجمة: تستقبل صورة وموجّهًا نصيًا وتُخرج نصًا). وهي مدرّبة على أزواج من الصور والنصوص، فتتعلّم ربط ما تراه باللغة.
عبر واجهة API متوافقة مع OpenAI، تُوضع الصورة داخل الرسالة جزءًا من المحتوى (content part). ويمكن أن تكون رابطًا عامًا أو رابط بيانات بترميز base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
يحوّل النموذج الصورة إلى رموز إدخال، ويقرؤها مع نصك، ثم يكتب الإجابة.
لماذا يهم
- المستندات. يمكن إرسال الفواتير والإيصالات والنماذج والهويات مباشرةً إلى النموذج، وغالبًا مع المخرجات المنظَّمة لاستعادة الحقول بصيغة JSON.
- الشاشات والرسوم البيانية. تستطيع الوكلاء قراءة لقطات الشاشة ولوحات المعلومات، وتستطيع أدوات الدعم قراءة الصور التي يرسلها المستخدمون.
- التكلفة والحدود. كل صورة تضيف رموز إدخال وتملأ جزءًا من نافذة السياق. والصور الكثيرة في طلب واحد تتراكم بسرعة.
تحقّق من النتيجة. قد تخطئ نماذج VLM في قراءة النص الصغير أو المشوّش، وقد تذكر أرقامًا خاطئة بثقة. وفي كل ما يتعلق بالمال، تحقّق من الإجماليات في الشيفرة.
في BroadNet Inference
ثلاثة نماذج محادثة تقبل الصور:
| النموذج | الإدخال | السياق |
|---|---|---|
| DeepSeek V4.1 Flash | نص وصورة | 1,048,576 رمزًا |
| Qwen3.8 27B | نص وصورة | 262,144 رمزًا |
| BroadNet Gemma 4 VL 26B | نص وصورة | 32,768 رمزًا |
نموذج GLM 5.3 نصي فقط. ويكلّف BroadNet Gemma 4 VL 26B مبلغ $0.10 لكل مليون رمز إدخال، ويعمل بالرصيد المبدئي المجاني البالغ $5. واختبرت BroadNet نموذج Qwen3.8 27B بالعربية، وهو يدعم المخرجات المنظَّمة أيضًا. وفي الدفع حسب الاستخدام، تُحتسب الصورة رموز إدخال، والصور الأكبر تستهلك أكثر.
ويشرح دليل الفواتير العربية عملية استخراج كاملة. احرص على دقة نوع MIME في رابط البيانات، واترك مساحة في max_tokens مع نماذج الاستدلال المنطقي.