---
title: "LiteLLM میں api_base کے ساتھ OpenAI-compatible provider"
description: "openai/ ماڈل پری فکس اور api_base کے ساتھ LiteLLM سے BroadNet Inference کال کریں، Python SDK میں یا پراکسی کی config.yaml میں، مطابقت رکھنے والی ریٹ لمٹس کے ساتھ۔"
url: https://broadrouter.com/ur/guides/litellm-proxy-custom-provider/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (اپ ڈیٹ: 2026-11-16).

# LiteLLM کو BroadNet Inference پر روٹ کریں (SDK اور پراکسی)

اپ ڈیٹ 2026-11-16

LiteLLM میں BroadNet ماڈل ID کے آگے openai/ لگائیں، جیسے openai/broadnet/glm-5.3، اور api\_base کو https://inference.broadnet.ai/v1 اور api\_key کو اپنی BroadNet کلید پر سیٹ کریں۔ پراکسی میں یہی قدریں config.yaml کے litellm\_params کے نیچے رکھیں اور ماڈل کو ایک مختصر model\_name دیں۔

LiteLLM بہت سے LLM فراہم کنندگان کے لیے ایک ہی انٹرفیس دیتا ہے، Python SDK کے طور پر بھی اور پراکسی سرور کے طور پر بھی۔ کسی OpenAI-compatible API تک پہنچنے کے لیے اس کی دستاویزات دو کام بتاتی ہیں: ماڈل کے نام کے آگے `openai/` لگائیں، اور `api_base` سیٹ کریں۔ BroadNet Inference اسی روٹ سے چلتا ہے۔

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

کوڈ میں `max_tokens` والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` روٹ چنتا ہے؛ LiteLLM، BroadNet کو `broadnet/glm-5.3` بھیجتا ہے۔ base URL میں کچھ نہ جوڑیں؛ اینڈپوائنٹ کا پاتھ LiteLLM کا OpenAI کلائنٹ خود جوڑتا ہے۔

LiteLLM کی دستاویزات بتاتی ہیں کہ `openai` روٹ سرکاری OpenAI Python لائبریری استعمال کرتا ہے، جسے ہر درخواست پر ایک API کلید چاہیے۔ اوپر کی طرح `api_key` واضح طور پر پاس کریں، تاکہ LiteLLM کبھی اس `OPENAI_API_KEY` پر نہ لوٹے جو اصل میں OpenAI کے لیے ہے۔ جواب OpenAI کی ساخت میں ہی آتا ہے، اس لیے آپ کا باقی کوڈ نہیں بدلتا۔

## پراکسی کب استعمال کریں

ایک Python ایپ کے اندر SDK کافی ہے۔ پراکسی تب کام آتی ہے جب کئی ایپس یا کئی زبانوں کو وہی ماڈلز چاہییں: سب مختصر ماڈل ناموں کے ساتھ ایک ہی OpenAI طرز کے اینڈپوائنٹ کو کال کرتے ہیں، اور پراکسی BroadNet کلید رکھتی ہے، ریٹ لمٹس لاگو کرتی ہے اور usage لاگ کرتی ہے۔ تب آپ کی ایپس کو BroadNet کے لیے کوئی الگ سیٹنگ نہیں چاہیے۔

## 2\. پراکسی سرور

پراکسی والے extras انسٹال کریں اور `config.yaml` لکھیں:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

اسے شروع کریں اور کسی بھی OpenAI اینڈپوائنٹ کی طرح کال کریں (curl والی کمانڈ دوسرے ٹرمینل میں چلائیں):

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` سے LiteLLM وہ کلید انوائرنمنٹ سے پڑھتا ہے۔ ہر اندراج اپنی الگ BroadNet استعمال کے مطابق ادائیگی والی کلید استعمال کرتا ہے، اس لیے `rpm: 30`، جو LiteLLM کی اختیاری فی ڈیپلائمنٹ ریٹ لمٹ ہے، ہر کلید کی حد سے مطابقت رکھتا ہے۔ اگر کئی اندراجات ایک ہی کلید شیئر کرتے ہیں تو وہ وہی ایک حد بھی شیئر کرتے ہیں، اس لیے عدد کو ان کے درمیان بانٹ دیں۔ `master_key` کی وجہ سے پراکسی ہر کال پر کلید مانگتی ہے؛ LiteLLM کی دستاویزات کے مطابق یہ `sk-` سے شروع ہونی چاہیے۔ پراکسی شروع کرنے سے پہلے `LITELLM_MASTER_KEY` ایکسپورٹ کریں۔

## کون سا ماڈل چنیں

| model\_name | BroadNet ماڈل | استعمال |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/ur/models/glm-5.3/) | ٹولز، اسٹرکچرڈ آؤٹ پٹ، 1M کانٹیکسٹ |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/ur/models/deepseek-v4.1-flash/) | لمبا کانٹیکسٹ؛ لامحدود پلان والا ماڈل |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/ur/models/qwen3.8-27b/) | تصاویر، ٹولز، عربی |
| (ضرورت ہو تو شامل کریں) | [Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) | کم فی ٹوکن قیمت؛ $5 کریڈٹ پر چلتا ہے |

قیمتیں [قیمتوں کے صفحے](https://broadrouter.com/ur/pricing/) پر ہیں۔ اگر آپ کسی دوسرے گیٹ وے سے منتقل ہو رہے ہیں تو [مائیگریشن چیک لسٹ](https://broadrouter.com/ur/blog/openai-compatible-api-migration-checklist/) بتاتی ہے کہ کیا ٹیسٹ کرنا ہے۔

## مسائل کا حل

-   **401۔** BroadNet کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ اگر 401 خود پراکسی سے آ رہا ہے تو اس کے بجائے وہ LiteLLM کلید جانچیں جو آپ نے بھیجی تھی۔
-   **Not Found۔** یقینی بنائیں کہ `api_base`، `/v1` سمیت `https://inference.broadnet.ai/v1` ہے۔ base URL درست ہو تو دیکھیں کہ `openai/` کے بعد کا ماڈل ID، BroadNet کے ID سے بالکل ملتا ہے۔
-   **نئے اکاؤنٹ پر ماڈل مسترد ہوتا ہے۔** GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے پہلے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف `broadnet/gemma-4-26b-a4b` اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
-   **خالی content۔** ریزننگ، `max_tokens` میں گنی جاتی ہے۔ اسے بڑھائیں یا `reasoning_effort="low"` بھیجیں۔ [جوابات خالی کیوں آتے ہیں](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/)۔
-   **429۔** استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ LiteLLM کا `rpm` پہلی حد میں مدد کرتا ہے؛ ہر کلید پر بیک وقت کال کرنے والے 4 یا اس سے کم رکھیں۔ [ایررز اور دوبارہ کوشش](https://broadrouter.com/ur/guides/errors-and-retries/) دیکھیں۔
-   **پلان کلید پر متوازی ایجنٹس۔** ایک [پلان سیشن](https://broadrouter.com/ur/guides/unlimited-llm-api-sessions/) ایک وقت میں ایک درخواست چلاتا ہے۔ ایک ہی سیشن پر پراکسی کے ذریعے کئی ایجنٹس چلانے سے وہ قطار میں لگتے ہیں؛ ہر متوازی ایجنٹ کے لیے ایک سیشن خریدیں۔

## اس گائیڈ کی اصطلاحات

[استعمال کے مطابق ادائیگی (pay-as-you-go)](https://broadrouter.com/ur/glossary/pay-as-you-go/)

استعمال کے مطابق ادائیگی (pay-as-you-go) قیمت طے کرنے کا ایک ماڈل ہے جس میں آپ صرف اتنا دیتے ہیں جتنا استعمال کرتے ہیں، ٹوکن، درخواستوں یا آڈیو منٹ جیسی اکائیوں میں ناپ کر، بغیر سبسکرپشن یا کم از کم وابستگی کے۔ زیادہ تر LLM API اسی طرح بل بناتے ہیں، پری پیڈ بیلنس یا وقتاً فوقتاً بننے والی انوائس سے۔

[کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/)

کنکرنسی، کسی کلائنٹ کی بیک وقت چل رہی (in-flight) درخواستوں کی تعداد ہے۔ LLM APIs اکثر اس کی حد ہر کلید یا پلان پر، فی منٹ درخواستوں سے الگ رکھتے ہیں، کیونکہ ہر کھلی درخواست جواب مکمل ہونے تک GPU کی گنجائش گھیرے رکھتی ہے۔

[base URL](https://broadrouter.com/ur/glossary/base-url/)

base URL کسی API کا مقررہ بنیادی پتہ ہے، جیسے https://api.example.com/v1، جسے کلائنٹ /chat/completions جیسے ہر اینڈپوائنٹ پاتھ کے آگے لگاتا ہے۔ OpenAI-compatible SDK میں base URL کو API کلید اور ماڈل ID کے ساتھ بدلنے سے وہی کوڈ کسی دوسرے فراہم کنندہ سے جڑ جاتا ہے۔

[ریٹ لمٹ (rate limit)](https://broadrouter.com/ur/glossary/rate-limit/)

ریٹ لمٹ وہ حد ہے جو کوئی API طے کرتا ہے کہ ایک کلائنٹ کسی مدت میں اسے کتنا استعمال کر سکتا ہے، جیسے فی منٹ درخواستیں یا فی منٹ ٹوکن۔ حد سے زیادہ درخواستیں رد کر دی جاتی ہیں، عموماً HTTP 429 Too Many Requests کے ساتھ، جب تک استعمال دوبارہ حد سے نیچے نہ آ جائے۔

[اسٹرکچرڈ آؤٹ پٹ (structured output)](https://broadrouter.com/ur/glossary/structured-output/)

اسٹرکچرڈ آؤٹ پٹ LLM API کا ایک فیچر ہے جو ماڈل کے جواب کو ڈویلپر کے طے کردہ فارمیٹ، عموماً JSON Schema، تک محدود کرتا ہے، تاکہ کوڈ اسے قابلِ اعتماد طریقے سے پارس کر سکے۔ یہ JSON mode سے زیادہ سخت ہے، جو درست JSON کی ضمانت دیتا ہے، لیکن کسی خاص ساخت کی نہیں۔

[پری پیڈ کریڈٹ (prepaid credit)](https://broadrouter.com/ur/glossary/prepaid-credit/)

پری پیڈ کریڈٹ وہ رقم ہے جو استعمال سے پہلے API اکاؤنٹ میں ڈالی جاتی ہے۔ ہر درخواست کی لاگت بیلنس سے کٹتی ہے، اور بیلنس ختم ہونے پر میٹر والی درخواستیں تب تک رک جاتی ہیں جب تک آپ ٹاپ اپ نہ کریں۔ اس سے خرچ اتنا ہی رہتا ہے جتنا آپ نے جمع کیا ہے۔

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[AI ایجنٹ (AI agent)](https://broadrouter.com/ur/glossary/agent/)

AI ایجنٹ ایسا نظام ہے جس میں لینگویج ماڈل کسی ہدف کی طرف اپنے قدم خود طے کرتا ہے: کون سے ٹولز کال کرنے ہیں، یہ چنتا ہے، نتائج پڑھتا ہے اور حتمی جواب یا کسی حد تک دہراتا رہتا ہے۔ مقررہ مقامات پر ماڈل کو کال کرنے والی اسکرپٹ کو عموماً workflow کہا جاتا ہے۔

## عام سوالات

### LiteLLM، Not Found ایرر کیوں لوٹاتا ہے؟

LiteLLM کی دستاویزات کہتی ہیں کہ یقینی بنائیں کہ api\_base کے آخر میں /v1 ہو۔ https://inference.broadnet.ai/v1 استعمال کریں اور /chat/completions نہ جوڑیں۔

### ماڈل کا نام openai/broadnet/glm-5.3 کیوں ہے؟

openai/ پری فکس LiteLLM کو بتاتا ہے کہ OpenAI طرز کے /chat/completions اینڈپوائنٹ کو کال کرنا ہے۔ LiteLLM پری فکس سے روٹ چنتا ہے اور باقی حصہ، broadnet/glm-5.3، بھیجتا ہے، جو BroadNet کا ماڈل ID ہے۔

### کیا میں BroadNet لامحدود پلان کی کلید کسی مشترکہ LiteLLM پراکسی کے پیچھے رکھ سکتا ہوں؟

پلان کلیدیں نہ شیئر کی جا سکتی ہیں نہ دوبارہ بیچی جا سکتی ہیں، اور ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ انہیں اپنے ایجنٹس کے لیے استعمال کریں۔ ٹیم کی پراکسی کے لیے استعمال کے مطابق ادائیگی والی کلیدیں لیں۔

### کیا BroadNet کو کال کرنے کے لیے LiteLLM کو OPENAI\_API\_KEY چاہیے؟

openai روٹ کو ہر درخواست پر ایک کلید چاہیے، api\_key سے یا OPENAI\_API\_KEY سے۔ اپنی BroadNet کلید کو api\_key کے طور پر پاس کریں، یا پراکسی میں os.environ/BROADNET\_API\_KEY لکھیں، تاکہ LiteLLM اصل OpenAI کلید BroadNet کو نہ بھیجے۔

## متعلقہ گائیڈز

-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/)
-   [BroadNet Inference کے ایرر کوڈز اور دوبارہ کوشش کب کریں](https://broadrouter.com/ur/guides/errors-and-retries/)
-   [ریزننگ ماڈل خالی جواب کیوں لوٹاتا ہے](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference کے ساتھ LangChain استعمال کریں](https://broadrouter.com/ur/guides/langchain-openai-base-url/)
-   [BroadNet Inference کے ساتھ کام کرنے والے تمام ٹولز (انگریزی میں)](https://broadrouter.com/integrations/): SDKs، کوڈنگ ایجنٹس، چیٹ انٹرفیس اور آٹومیشن ٹولز، ہر ایک کی درست سیٹنگز کے ساتھ

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**ذرائع**

-   [LiteLLM دستاویزات، OpenAI-compatible اینڈپوائنٹس (2026-11-14 کو جانچا گیا)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM دستاویزات، پراکسی config.yaml (2026-11-14 کو جانچا گیا)](https://docs.litellm.ai/docs/proxy/configs)
-   [BroadNet Inference API ریفرنس (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-guides-litellm-proxy-custom-provider&utm_content=sources)
