---
title: "OpenAI-कम्पैटिबल api_base के साथ DSPy का dspy.LM | BroadRouter"
description: "openai/ प्रीफ़िक्स, api_base और model_type=\"chat\" से BroadNet Inference के लिए dspy.LM सेट करें, क्योंकि DSPy 3.5 OpenAI मॉडल को Responses API पर भेजता है।"
url: https://broadrouter.com/hi/guides/dspy-openai-compatible/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/dspy-openai-compatible/) (2026-11-16 को अपडेट किया गया).

# DSPy में BroadNet Inference (model\_type="chat" सेट करें)

अपडेट किया गया 2026-11-16

dspy.LM को मॉडल "openai/broadnet/glm-5.3", model\_type="chat", api\_base https://inference.broadnet.ai/v1 और अपनी BroadNet api\_key के साथ बनाएँ, फिर dspy.configure को दें। model\_type="chat" ज़रूरी है। DSPy 3.5 openai/ वाले मॉडल को डिफ़ॉल्ट रूप से Responses API पर भेजता है, जिसे BroadNet सर्व नहीं करता। हमारे मॉक-सर्वर टेस्ट में इसके बिना कॉल /v1/responses पर गई और 404 मिला; BroadNet का लाइव एंडपॉइंट भी उस पाथ पर 404 देता है।

DSPy, लैंग्वेज मॉडल को signatures और modules से प्रोग्राम करने और उनके पीछे के प्रॉम्प्ट ऑप्टिमाइज़ करने का एक Python फ़्रेमवर्क है। आप इसे `dspy.LM` से किसी मॉडल से जोड़ते हैं। DSPy के डॉक्स OpenAI-कम्पैटिबल सर्वर को `api_base` के साथ `openai/` मॉडल के रूप में दिखाते हैं। BroadNet Inference के लिए, जो `https://inference.broadnet.ai/v1` पर chat completions सर्व करता है, आपको `model_type="chat"` भी चाहिए। BroadRouter, BroadNet की अपनी साइट है; यह गाइड DSPy 3.5 के डॉक्स के अनुसार है।

## इंस्टॉल करें

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## कनेक्ट करें

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** DSPy को उसका OpenAI क्लाइंट इस्तेमाल करने को कहता है। स्ट्रिंग का बाक़ी हिस्सा, `broadnet/glm-5.3`, वह मॉडल ID है जो BroadNet को भेजा जाता है।
-   **`model_type="chat"`** DSPy को `/v1/chat/completions` पर रखता है। DSPy का LM रेफ़रंस कहता है कि डिफ़ॉल्ट `'auto'` से OpenAI मॉडल “use Responses” (अनुवाद: “Responses इस्तेमाल करते हैं”)।
-   **`max_tokens`** रीज़निंग के लिए जगह छोड़ता है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले सोचते हैं, और यह सोच सीमा में गिनी जाती है।

## model\_type के बिना क्या होता है

DSPy के इंस्टॉलेशन पेज पर OpenAI-कम्पैटिबल सर्वर वाले उदाहरण में `model_type` नहीं है। DSPy 3.5.0 के साथ हमारे टेस्ट में, इससे अनुरोध `max_output_tokens` के साथ `/v1/responses` पर गया, और कॉल फ़ेल हो गई:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

यह एरर हमारे मॉक सर्वर से आया था। 2026-11-16 को जाँचने पर BroadNet के लाइव एंडपॉइंट ने भी `/v1/responses` पर 404 दिया। `model_type="chat"` जोड़ने से समस्या ठीक हो गई।

## मॉड्यूल और मॉडल

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| DSPy में इस्तेमाल | मॉडल |
| --- | --- |
| `Predict`, `ChainOfThought`, ऑप्टिमाइज़र रन | `broadnet/deepseek-v4.1-flash` (कम प्रति-टोकन कीमत; फ़्लैट-कीमत प्लान) |
| `ReAct` और टूल कॉल करने वाले दूसरे मॉड्यूल | `broadnet/glm-5.3` या `broadnet/qwen3.8-27b` |
| शुरुआती क्रेडिट पर DSPy आज़माना | `broadnet/gemma-4-26b-a4b` (32,768 टोकन का कॉन्टेक्स्ट) |

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। आप प्रोग्राम के लिए एक मॉडल और ऑप्टिमाइज़र के लिए दूसरा इस्तेमाल कर सकते हैं, हर एक का अपना `dspy.LM`। [हर मॉडल की कीमत](https://broadrouter.com/hi/pricing/)।

## हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ virtual environment में dspy 3.5.0 इंस्टॉल किया और `dspy.Predict` को एक लोकल मॉक सर्वर पर चलाया, जो BroadNet के chat-completions ढाँचे में जवाब देता है और `/v1/responses` पर 404 लौटाता है। `model_type` के बिना DSPy ने `/v1/responses` कॉल किया और फ़ेल हुआ। `model_type="chat"` के साथ उसने मॉडल ID `broadnet/glm-5.3` और Bearer key के साथ `/v1/chat/completions` कॉल किया, और answer फ़ील्ड पार्स किया। हमने देखा कि DSPy ने आउटपुट सीमा `max_completion_tokens` के रूप में भेजी। BroadNet का API रेफ़रंस `max_tokens` बताता है और `max_completion_tokens` का ज़िक्र नहीं करता, इसलिए हम पक्का नहीं कह सकते कि इस तरह भेजी गई सीमा BroadNet लागू करता है। हमने मॉक सर्वर पर टेस्ट किया, BroadNet key से नहीं, इसलिए असली मॉडल आउटपुट नहीं जाँचा।

## समस्या का समाधान

-   **/v1/responses पर 404.** `model_type="chat"` जोड़ें।
-   **/v1/chat/completions पर 404.** `api_base` को `/v1` पर ख़त्म होना चाहिए, और मॉडल स्ट्रिंग `openai/` के साथ पूरा BroadNet ID होनी चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ `broadnet/gemma-4-26b-a4b` और दोनों Transcribe मॉडल को कवर करता है।
-   **“Expected to find output fields”.** जवाब ख़ाली था या बीच में कट गया, अक्सर इसलिए कि रीज़निंग ने आउटपुट बजट ख़त्म कर दिया। `max_tokens` बढ़ाएँ। [जवाब ख़ाली क्यों आते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **ऑप्टिमाइज़ेशन के दौरान 429.** उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। ऑप्टिमाइज़र के थ्रेड घटाएँ और [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/) देखें।

## इस गाइड के शब्द

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[Chat Completions API](https://broadrouter.com/hi/glossary/chat-completions-api/)

Chat Completions API, OpenAI का HTTP एंडपॉइंट POST /v1/chat/completions है, जो एक मॉडल का नाम और रोल वाले मैसेज की सूची लेता है और मॉडल का अगला मैसेज लौटाता है। इसके अनुरोध और जवाब का ढाँचा वह आम फ़ॉर्मैट बन गया जिसे OpenAI-कम्पैटिबल प्रोवाइडर और SDK अपनाते हैं।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[प्रीपेड क्रेडिट (prepaid credit)](https://broadrouter.com/hi/glossary/prepaid-credit/)

प्रीपेड क्रेडिट वह पैसा है जो इस्तेमाल से पहले API अकाउंट में डाला जाता है। हर अनुरोध की लागत बैलेंस से कटती है, और बैलेंस ख़त्म होने पर मीटर वाले अनुरोध तब तक रुक जाते हैं जब तक आप टॉप-अप न करें। इससे खर्च उतने तक सीमित रहता है जितना आपने जमा किया है।

[रेट लिमिट (rate limit)](https://broadrouter.com/hi/glossary/rate-limit/)

रेट लिमिट वह सीमा है जो कोई API तय करता है कि एक क्लाइंट किसी समय-अवधि में उसका कितना इस्तेमाल कर सकता है, जैसे प्रति मिनट अनुरोध या प्रति मिनट टोकन। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, आम तौर पर HTTP 429 Too Many Requests के साथ, जब तक इस्तेमाल फिर सीमा के नीचे न आ जाए।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

## अक्सर पूछे जाने वाले सवाल

### DSPy, BroadNet पर /v1/responses क्यों कॉल करता है?

DSPy 3.5 का dspy.LM रेफ़रंस कहता है कि डिफ़ॉल्ट model\_type 'auto' से OpenAI मॉडल Responses API इस्तेमाल करते हैं। कस्टम api\_base वाले openai/ मॉडल के साथ भी यही होता है। chat completions इस्तेमाल करने के लिए model\_type="chat" दें; BroadNet यही सर्व करता है।

### DSPy में BroadNet का मॉडल ID कैसे लिखें?

BroadNet ID के आगे openai/ लगाएँ, जैसे openai/broadnet/glm-5.3। DSPy क्लाइंट चुनने के लिए openai/ इस्तेमाल करता है और हमारे टेस्ट में उसने मॉडल के रूप में broadnet/glm-5.3 भेजा।

### DSPy ऑप्टिमाइज़र के लिए BroadNet का कौन-सा मॉडल ठीक है?

ऑप्टिमाइज़र बहुत सारी कॉल करते हैं, इसलिए लागत और रेट लिमिट मायने रखती हैं। DeepSeek V4.1 Flash की प्रति-टोकन कीमत कम है और यही BroadNet के फ़्लैट-कीमत प्लान का मॉडल है, जो प्रति टोकन मीटर नहीं होते। टूल कॉल करने वाले मॉड्यूल, जैसे ReAct, के लिए GLM 5.3 या Qwen3.8 27B इस्तेमाल करें।

### क्या BroadNet के साथ DSPy का कैश मायने रखता है?

DSPy डिफ़ॉल्ट रूप से LM कॉल कैश करता है (cache=True), इसलिए वही कॉल दोहराने पर कुछ ख़र्च नहीं होता। कनेक्शन जाँचते समय cache=False सेट करें, वरना हो सकता है आप कैश किया हुआ जवाब देख रहे हों।

## संबंधित गाइड

-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [BroadNet Inference के साथ काम करने वाले सभी टूल (अंग्रेज़ी में)](https://broadrouter.com/integrations/): SDK, कोडिंग एजेंट, चैट UI और ऑटोमेशन टूल, हर एक की सटीक सेटिंग के साथ

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-dspy-openai-compatible&utm_content=page-cta) ·

**स्रोत**

-   [DSPy डॉक्स, इंस्टॉलेशन और लैंग्वेज मॉडल सेटअप (पेज की तारीख़ 2026-11-10, 2026-11-15 को जाँचा गया)](https://dspy.ai/current/getting-started/installation/)
-   [DSPy डॉक्स, dspy.LM API रेफ़रंस (model\_type) (2026-11-15 को जाँचा गया)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (2026-11-15 को जाँचा गया)](https://pypi.org/project/dspy/)
-   [BroadNet Inference API रेफ़रंस (2026-11-16 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-dspy-openai-compatible&utm_content=sources)
