حين يُطلق نموذج مفتوح الأوزان، لا بد أن يشغّله أحد. ومزوّدو الاستدلال هم الشركات التي تفعل ذلك.
كيف يعمل
يحمّل المزوّد أوزان النموذج على وحدات GPU، ويشغّل برمجيات تجمع الطلبات في دفعات وتدير الذاكرة، ويضع أمامها API. ويتيح معظمهم واجهة API متوافقة مع OpenAI، فتبدّل المزوّد بتغيير العنوان الأساسي والمفتاح ومعرّف النموذج.
يشمل المصطلح عدة أشكال تجارية:
- مختبرات النماذج التي تقدّم نماذجها الخاصة.
- مستضيفون مستقلون يقدّمون نماذج مفتوحة الأوزان من مختبرات كثيرة.
- السحابات التي تؤجّر وحدات GPU أو نقاط نهاية مُدارة، أحيانًا بسعر لكل ساعة GPU.
- المجمِّعات. تتيح Inference Providers من Hugging Face الوصول إلى “hundreds of machine learning models, powered by world-class inference providers” (ترجمة: مئات من نماذج تعلّم الآلة، يشغّلها مزوّدو استدلال عالميو المستوى) عبر رمز وصول واحد. ويعمل موجّه LLM بالطريقة نفسها.
ولأن صيغة الواجهة مشتركة، تعمل الشيفرة نفسها لدى أيٍّ منهم. تتغير ثلاث قيم فقط:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
وتختلف صيغ التسعير أيضًا: لكل رمز، أو لكل دقيقة صوت، أو لكل ساعة، أو سعر ثابت لكل جلسة.
لماذا يهم
اختيار المزوّد هو في الغالب اختيار موازنات لا تظهر في اسم النموذج:
- التعامل مع البيانات. يختلف الاحتفاظ والتسجيل والاستخدام في التدريب. ابحث عن سياسة مكتوبة لعدم الاحتفاظ بالبيانات.
- مكان التشغيل. المنطقة والمعالِجون الفرعيون مهمّون للامتثال.
- الحدود. قد يكون التزامن وحدود المعدل وطول السياق أقل من الحد الأقصى للنموذج.
- خيارات التشغيل. تؤثر الدقة العددية وإعدادات التشغيل في السرعة، وأحيانًا في المخرجات.
- صيغة التسعير. الصيغة المناسبة تعتمد على حركتك؛ راجع مقارنة أسعار المزوّدين.
- مستوى السعر. قد يكلّف النموذج المفتوح نفسه أضعافًا لدى مزوّد مقارنةً بآخر. راجع النموذج نفسه بأسعار استضافة مختلفة.
في BroadNet Inference
BroadNet Inference مزوّد استدلال. ويقول بيان الخصوصية لديه إن نماذجه الخاصة والنماذج مفتوحة الأوزان التي يستضيفها “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (ترجمة: تعمل على أجهزة تملكها BroadNet أو تستأجرها في الولايات المتحدة، مع سعة لدى شركاء احتياطًا)، وإن النماذج التي يقدّمها الشركاء تعمل بموجب شروط عدم الاحتفاظ بالبيانات لدى شركاء استدلال في الولايات المتحدة. ولا يُحتفظ بمحتوى الطلبات والاستجابات.
ويقدّم نماذج محادثة، منها DeepSeek V4.1 Flash وGLM 5.3، ونموذجين لتحويل الكلام إلى نص، عبر واجهة API متوافقة مع OpenAI على https://inference.broadnet.ai/v1. والتسعير إما بالدفع حسب الاستخدام لكل رمز أو لكل دقيقة صوت، أو بمفتاح بالساعة، أو بخطط ثابتة السعر لـ DeepSeek V4.1 Flash. استخدم قائمة التحقق لاختيار المزوّد لمقارنته بغيره وفق معاييرك.