BroadRouter

توجيه LiteLLM إلى BroadNet Inference (عبر SDK والوكيل)

آخر تحديث

في LiteLLM، أضف البادئة openai/ قبل معرّف نموذج BroadNet، مثل openai/broadnet/glm-5.3، واضبط api_base على https://inference.broadnet.ai/v1 مع مفتاح BroadNet في api_key. وفي الوكيل (proxy)، ضع القيم نفسها تحت litellm_params في config.yaml، وأعطِ النموذج اسمًا قصيرًا في model_name.

يوفّر LiteLLM واجهة واحدة لكثير من مزوّدي LLM، في صورة Python SDK وفي صورة خادم وكيل (proxy). وللوصول إلى واجهة API متوافقة مع OpenAI، يطلب توثيقه أمرين: أن تضع openai/ قبل اسم النموذج، وأن تضبط api_base. وBroadNet Inference تستخدم هذا المسار.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

تختار openai/ المسار، ويرسل LiteLLM المعرّف broadnet/glm-5.3 إلى BroadNet. لا تُضف شيئًا إلى base URL؛ فعميل OpenAI داخل LiteLLM يضيف مسار نقطة النهاية بنفسه.

ينبّه توثيق LiteLLM إلى أن مسار openai يستخدم مكتبة OpenAI الرسمية لـ Python، وهي تحتاج إلى مفتاح API في كل طلب. مرّر api_key صراحةً كما في المثال، حتى لا يلجأ LiteLLM أبدًا إلى متغيّر OPENAI_API_KEY المخصّص لـ OpenAI نفسها. وتعود الاستجابة ببنية OpenAI، فلا يتغيّر باقي شيفرتك.

متى تستخدم الوكيل

يكفي الـ SDK داخل تطبيق Python واحد. أما الوكيل فيفيد حين تحتاج عدة تطبيقات أو لغات برمجة إلى النماذج نفسها: فكلها تستدعي نقطة نهاية واحدة على نمط OpenAI بأسماء نماذج قصيرة، بينما يحتفظ الوكيل بمفتاح BroadNet، ويطبّق حدود المعدل، ويسجّل الاستخدام. وعندها لا تحتاج تطبيقاتك إلى أي إعدادات خاصة بـ BroadNet إطلاقًا.

2. خادم الوكيل

ثبّت الإضافات الخاصة بالوكيل واكتب config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

شغّله واستدعِه كأي نقطة نهاية من OpenAI:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

تخبر القيمة os.environ/BROADNET_API_KEY_GLM مكتبة LiteLLM بأن تقرأ ذلك المفتاح من البيئة. ويستخدم كل إدخال مفتاح دفع حسب الاستخدام خاصًا به من BroadNet، لذا فإن rpm: 30، وهو حد المعدل الاختياري في LiteLLM لكل عملية نشر، يطابق حد كل مفتاح. وإن اشتركت عدة إدخالات في مفتاح واحد، فإنها تتقاسم ذلك الحد الواحد، لذا وزّع الرقم بينها. ويجعل master_key الوكيل يشترط مفتاحًا في كل استدعاء؛ ويقول توثيق LiteLLM إنه يجب أن يبدأ بـ sk-. صدّر LITELLM_MASTER_KEY قبل تشغيل الوكيل.

أي نموذج تختار

model_name نموذج BroadNet الاستخدام
glm GLM 5.3 الأدوات، والمخرجات المنظَّمة، وسياق مليون رمز
deepseek-flash DeepSeek V4.1 Flash السياق الطويل؛ نموذج الخطة غير المحدودة
qwen Qwen3.8 27B الصور، والأدوات، والعربية
(أضفه عند الحاجة) Gemma 4 VL 26B سعر منخفض لكل رمز؛ يعمل بالرصيد البالغ $5

الأسعار في صفحة الأسعار. وإن كنت تنتقل من بوابة أخرى، فإن قائمة التحقق للانتقال تغطي ما ينبغي اختباره.

حل المشكلات

  • 401. مفتاح BroadNet خاطئ أو منتهي الصلاحية أو استنفد رصيد الدفع حسب الاستخدام. وإن كان الخطأ 401 صادرًا من الوكيل نفسه، فافحص مفتاح LiteLLM الذي أرسلته بدلًا من ذلك.
  • Not Found. تأكّد أن api_base هو https://inference.broadnet.ai/v1 مع /v1. وإن كان base URL صحيحًا، فتحقّق من أن معرّف النموذج بعد openai/ يطابق معرّف BroadNet تمامًا.
  • رفض النموذج على حساب جديد. تحتاج GLM 5.3 وQwen3.8 27B وDeepSeek V4.1 Flash إلى شحن الرصيد أولًا؛ والرصيد البالغ $5 يغطي broadnet/gemma-4-26b-a4b ونموذجَي Transcribe فقط.
  • محتوى فارغ. يُحتسب الاستدلال المنطقي ضمن max_tokens. ارفعه أو أرسل reasoning_effort="low". راجع لماذا تعود الإجابات فارغة.
  • 429. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 في آنٍ واحد. يساعد rpm في LiteLLM على الحد الأول؛ أما الثاني فأبقِ عدد المستدعين المتزامنين عند 4 أو أقل لكل مفتاح. راجع الأخطاء وإعادة المحاولة.
  • وكلاء متوازون على مفتاح خطة. جلسة الخطة الواحدة تشغّل طلبًا واحدًا في كل مرة. وتشغيل عدة وكلاء عبر الوكيل (proxy) على جلسة واحدة يجعلهم ينتظرون في طابور؛ اشترِ جلسة لكل وكيل متوازٍ.

أسئلة شائعة

لماذا يُرجع LiteLLM الخطأ Not Found؟

يوصي توثيق LiteLLM بالتأكد من أن api_base ينتهي بـ /v1. استخدم https://inference.broadnet.ai/v1 ولا تُضف /chat/completions.

لماذا اسم النموذج openai/broadnet/glm-5.3؟

تخبر البادئة openai/ مكتبة LiteLLM بأن تستدعي نقطة نهاية /chat/completions على نمط OpenAI. يستخدم LiteLLM البادئة لاختيار المسار ويرسل الباقي، أي broadnet/glm-5.3، وهو معرّف النموذج في BroadNet.

هل يمكن وضع مفتاح خطة BroadNet غير المحدودة خلف وكيل LiteLLM مشترك؟

مفاتيح الخطط لا يجوز مشاركتها أو إعادة بيعها، والجلسة الواحدة تشغّل طلبًا واحدًا في كل مرة. استخدمها لوكلائك أنت. أما وكيل الفريق، فاستخدم له مفاتيح الدفع حسب الاستخدام.

هل يحتاج LiteLLM إلى OPENAI_API_KEY لاستدعاء BroadNet؟

يحتاج مسار openai إلى مفتاح في كل طلب، إما من api_key أو من OPENAI_API_KEY. مرّر مفتاح BroadNet في api_key، أو os.environ/BROADNET_API_KEY في الوكيل، حتى لا يرسل LiteLLM مفتاح OpenAI حقيقيًا إلى BroadNet.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity