يوفّر LiteLLM واجهة واحدة لكثير من مزوّدي LLM، في صورة Python SDK وفي صورة خادم وكيل (proxy). وللوصول إلى واجهة API متوافقة مع OpenAI، يطلب توثيقه أمرين: أن تضع openai/ قبل اسم النموذج، وأن تضبط api_base. وBroadNet Inference تستخدم هذا المسار.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
تختار openai/ المسار، ويرسل LiteLLM المعرّف broadnet/glm-5.3 إلى BroadNet. لا تُضف شيئًا إلى base URL؛ فعميل OpenAI داخل LiteLLM يضيف مسار نقطة النهاية بنفسه.
ينبّه توثيق LiteLLM إلى أن مسار openai يستخدم مكتبة OpenAI الرسمية لـ Python، وهي تحتاج إلى مفتاح API في كل طلب. مرّر api_key صراحةً كما في المثال، حتى لا يلجأ LiteLLM أبدًا إلى متغيّر OPENAI_API_KEY المخصّص لـ OpenAI نفسها. وتعود الاستجابة ببنية OpenAI، فلا يتغيّر باقي شيفرتك.
متى تستخدم الوكيل
يكفي الـ SDK داخل تطبيق Python واحد. أما الوكيل فيفيد حين تحتاج عدة تطبيقات أو لغات برمجة إلى النماذج نفسها: فكلها تستدعي نقطة نهاية واحدة على نمط OpenAI بأسماء نماذج قصيرة، بينما يحتفظ الوكيل بمفتاح BroadNet، ويطبّق حدود المعدل، ويسجّل الاستخدام. وعندها لا تحتاج تطبيقاتك إلى أي إعدادات خاصة بـ BroadNet إطلاقًا.
2. خادم الوكيل
ثبّت الإضافات الخاصة بالوكيل واكتب config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
شغّله واستدعِه كأي نقطة نهاية من OpenAI:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
تخبر القيمة os.environ/BROADNET_API_KEY_GLM مكتبة LiteLLM بأن تقرأ ذلك المفتاح من البيئة. ويستخدم كل إدخال مفتاح دفع حسب الاستخدام خاصًا به من BroadNet، لذا فإن rpm: 30، وهو حد المعدل الاختياري في LiteLLM لكل عملية نشر، يطابق حد كل مفتاح. وإن اشتركت عدة إدخالات في مفتاح واحد، فإنها تتقاسم ذلك الحد الواحد، لذا وزّع الرقم بينها. ويجعل master_key الوكيل يشترط مفتاحًا في كل استدعاء؛ ويقول توثيق LiteLLM إنه يجب أن يبدأ بـ sk-. صدّر LITELLM_MASTER_KEY قبل تشغيل الوكيل.
أي نموذج تختار
| model_name | نموذج BroadNet | الاستخدام |
|---|---|---|
glm |
GLM 5.3 | الأدوات، والمخرجات المنظَّمة، وسياق مليون رمز |
deepseek-flash |
DeepSeek V4.1 Flash | السياق الطويل؛ نموذج الخطة غير المحدودة |
qwen |
Qwen3.8 27B | الصور، والأدوات، والعربية |
| (أضفه عند الحاجة) | Gemma 4 VL 26B | سعر منخفض لكل رمز؛ يعمل بالرصيد البالغ $5 |
الأسعار في صفحة الأسعار. وإن كنت تنتقل من بوابة أخرى، فإن قائمة التحقق للانتقال تغطي ما ينبغي اختباره.
حل المشكلات
- 401. مفتاح BroadNet خاطئ أو منتهي الصلاحية أو استنفد رصيد الدفع حسب الاستخدام. وإن كان الخطأ 401 صادرًا من الوكيل نفسه، فافحص مفتاح LiteLLM الذي أرسلته بدلًا من ذلك.
- Not Found. تأكّد أن
api_baseهوhttps://inference.broadnet.ai/v1مع/v1. وإن كان base URL صحيحًا، فتحقّق من أن معرّف النموذج بعدopenai/يطابق معرّف BroadNet تمامًا. - رفض النموذج على حساب جديد. تحتاج GLM 5.3 وQwen3.8 27B وDeepSeek V4.1 Flash إلى شحن الرصيد أولًا؛ والرصيد البالغ $5 يغطي
broadnet/gemma-4-26b-a4bونموذجَي Transcribe فقط. - محتوى فارغ. يُحتسب الاستدلال المنطقي ضمن
max_tokens. ارفعه أو أرسلreasoning_effort="low". راجع لماذا تعود الإجابات فارغة. - 429. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 في آنٍ واحد. يساعد
rpmفي LiteLLM على الحد الأول؛ أما الثاني فأبقِ عدد المستدعين المتزامنين عند 4 أو أقل لكل مفتاح. راجع الأخطاء وإعادة المحاولة. - وكلاء متوازون على مفتاح خطة. جلسة الخطة الواحدة تشغّل طلبًا واحدًا في كل مرة. وتشغيل عدة وكلاء عبر الوكيل (proxy) على جلسة واحدة يجعلهم ينتظرون في طابور؛ اشترِ جلسة لكل وكيل متوازٍ.
