LiteLLM بہت سے LLM فراہم کنندگان کے لیے ایک ہی انٹرفیس دیتا ہے، Python SDK کے طور پر بھی اور پراکسی سرور کے طور پر بھی۔ کسی OpenAI-compatible API تک پہنچنے کے لیے اس کی دستاویزات دو کام بتاتی ہیں: ماڈل کے نام کے آگے openai/ لگائیں، اور api_base سیٹ کریں۔ BroadNet Inference اسی روٹ سے چلتا ہے۔
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
کوڈ میں max_tokens والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ روٹ چنتا ہے؛ LiteLLM، BroadNet کو broadnet/glm-5.3 بھیجتا ہے۔ base URL میں کچھ نہ جوڑیں؛ اینڈپوائنٹ کا پاتھ LiteLLM کا OpenAI کلائنٹ خود جوڑتا ہے۔
LiteLLM کی دستاویزات بتاتی ہیں کہ openai روٹ سرکاری OpenAI Python لائبریری استعمال کرتا ہے، جسے ہر درخواست پر ایک API کلید چاہیے۔ اوپر کی طرح api_key واضح طور پر پاس کریں، تاکہ LiteLLM کبھی اس OPENAI_API_KEY پر نہ لوٹے جو اصل میں OpenAI کے لیے ہے۔ جواب OpenAI کی ساخت میں ہی آتا ہے، اس لیے آپ کا باقی کوڈ نہیں بدلتا۔
پراکسی کب استعمال کریں
ایک Python ایپ کے اندر SDK کافی ہے۔ پراکسی تب کام آتی ہے جب کئی ایپس یا کئی زبانوں کو وہی ماڈلز چاہییں: سب مختصر ماڈل ناموں کے ساتھ ایک ہی OpenAI طرز کے اینڈپوائنٹ کو کال کرتے ہیں، اور پراکسی BroadNet کلید رکھتی ہے، ریٹ لمٹس لاگو کرتی ہے اور usage لاگ کرتی ہے۔ تب آپ کی ایپس کو BroadNet کے لیے کوئی الگ سیٹنگ نہیں چاہیے۔
2. پراکسی سرور
پراکسی والے extras انسٹال کریں اور config.yaml لکھیں:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
اسے شروع کریں اور کسی بھی OpenAI اینڈپوائنٹ کی طرح کال کریں (curl والی کمانڈ دوسرے ٹرمینل میں چلائیں):
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM سے LiteLLM وہ کلید انوائرنمنٹ سے پڑھتا ہے۔ ہر اندراج اپنی الگ BroadNet استعمال کے مطابق ادائیگی والی کلید استعمال کرتا ہے، اس لیے rpm: 30، جو LiteLLM کی اختیاری فی ڈیپلائمنٹ ریٹ لمٹ ہے، ہر کلید کی حد سے مطابقت رکھتا ہے۔ اگر کئی اندراجات ایک ہی کلید شیئر کرتے ہیں تو وہ وہی ایک حد بھی شیئر کرتے ہیں، اس لیے عدد کو ان کے درمیان بانٹ دیں۔ master_key کی وجہ سے پراکسی ہر کال پر کلید مانگتی ہے؛ LiteLLM کی دستاویزات کے مطابق یہ sk- سے شروع ہونی چاہیے۔ پراکسی شروع کرنے سے پہلے LITELLM_MASTER_KEY ایکسپورٹ کریں۔
کون سا ماڈل چنیں
| model_name | BroadNet ماڈل | استعمال |
|---|---|---|
glm |
GLM 5.3 | ٹولز، اسٹرکچرڈ آؤٹ پٹ، 1M کانٹیکسٹ |
deepseek-flash |
DeepSeek V4.1 Flash | لمبا کانٹیکسٹ؛ لامحدود پلان والا ماڈل |
qwen |
Qwen3.8 27B | تصاویر، ٹولز، عربی |
| (ضرورت ہو تو شامل کریں) | Gemma 4 VL 26B | کم فی ٹوکن قیمت؛ $5 کریڈٹ پر چلتا ہے |
قیمتیں قیمتوں کے صفحے پر ہیں۔ اگر آپ کسی دوسرے گیٹ وے سے منتقل ہو رہے ہیں تو مائیگریشن چیک لسٹ بتاتی ہے کہ کیا ٹیسٹ کرنا ہے۔
مسائل کا حل
- 401۔ BroadNet کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ اگر 401 خود پراکسی سے آ رہا ہے تو اس کے بجائے وہ LiteLLM کلید جانچیں جو آپ نے بھیجی تھی۔
- Not Found۔ یقینی بنائیں کہ
api_base،/v1سمیتhttps://inference.broadnet.ai/v1ہے۔ base URL درست ہو تو دیکھیں کہopenai/کے بعد کا ماڈل ID، BroadNet کے ID سے بالکل ملتا ہے۔ - نئے اکاؤنٹ پر ماڈل مسترد ہوتا ہے۔ GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے پہلے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف
broadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔ - خالی content۔ ریزننگ،
max_tokensمیں گنی جاتی ہے۔ اسے بڑھائیں یاreasoning_effort="low"بھیجیں۔ جوابات خالی کیوں آتے ہیں۔ - 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ LiteLLM کا
rpmپہلی حد میں مدد کرتا ہے؛ ہر کلید پر بیک وقت کال کرنے والے 4 یا اس سے کم رکھیں۔ ایررز اور دوبارہ کوشش دیکھیں۔ - پلان کلید پر متوازی ایجنٹس۔ ایک پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ ایک ہی سیشن پر پراکسی کے ذریعے کئی ایجنٹس چلانے سے وہ قطار میں لگتے ہیں؛ ہر متوازی ایجنٹ کے لیے ایک سیشن خریدیں۔
