---
title: "SSE पर LLM रिस्पॉन्स स्ट्रीमिंग: usage और रीट्राई | BroadRouter"
description: "BroadNet Inference पर स्ट्रीमिंग कैसे काम करती है: Server-Sent Events, [DONE] मार्कर, आख़िरी चंक में टोकन usage, और स्ट्रीम बीच में ख़त्म हो जाए तो क्या करें।"
url: https://broadrouter.com/hi/guides/streaming-chat-completions/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/streaming-chat-completions/) (2026-11-15 को अपडेट किया गया).

# chat completions स्ट्रीम करें और टूटे कनेक्शन सँभालें

अपडेट किया गया 2026-11-15

/v1/chat/completions पर stream को true करें और Server-Sent Events तब तक पढ़ें जब तक ठीक data: \[DONE\] मार्कर न आ जाए। आख़िरी चंक में टोकन गिनतियाँ पाने के लिए stream\_options में include\_usage जोड़ें। अगर कनेक्शन \[DONE\] से पहले टूट जाए, तो जवाब को अधूरा मानें और X-Request-ID लॉग करें।

स्ट्रीमिंग से कोई एजेंट या चैट इंटरफ़ेस जवाब को बनते-बनते दिखा सकता है। BroadNet Inference, chat-completions स्ट्रीमिंग का स्टैंडर्ड फ़ॉर्मैट इस्तेमाल करता है, इसलिए [OpenAI Python SDK](https://broadrouter.com/hi/guides/openai-python-sdk/) और [OpenAI Node SDK](https://broadrouter.com/hi/guides/openai-node-sdk/) पार्सिंग आपके लिए कर देते हैं।

## curl से

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` curl की बफ़रिंग बंद करता है, और `-D` हेडर सेव करता है, जिनमें `X-Request-ID` भी है।

## स्ट्रीम दिखती कैसी है?

रिस्पॉन्स एक [Server-Sent Events](https://broadrouter.com/hi/glossary/sse/) स्ट्रीम है। WHATWG HTML स्टैंडर्ड के अनुसार हर इवेंट एक या ज़्यादा `data:` लाइनों और उसके बाद एक ख़ाली लाइन से बनता है, और कोलन से शुरू होने वाली लाइन एक कमेंट है जिसे आप अनदेखा कर सकते हैं। हर `data:` लाइन में एक JSON चंक होता है, और टेक्स्ट `choices[0].delta.content` में आता है।

## नियम

1.  ठीक `data: [DONE]` लाइन आने तक इवेंट पढ़ें, फिर रीडर बंद करें।
2.  `stream_options: {"include_usage": true}` के साथ `[DONE]` से ठीक पहले एक अतिरिक्त चंक आता है। इसमें पूरे अनुरोध का `usage` और एक ख़ाली `choices` सूची होती है, इसलिए इंडेक्स करने से पहले `choices` जाँचें।
3.  जब मॉडल इन्हें रिपोर्ट करता है, तो उस usage में `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पहले रीज़निंग करते हैं) और `prompt_tokens_details.cached_tokens` शामिल होते हैं। कैश्ड टोकन का बिल कैश्ड इनपुट की कम कीमत पर बनता है।

## Python SDK से

नीचे के कोड के आख़िर में अगर `usage` की वैल्यू `None` है, तो इसका मतलब है कि स्ट्रीम usage वाले चंक से पहले ख़त्म हो गई।

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK आपके लिए `[DONE]` तक पढ़ता है। [OpenAI Node SDK गाइड](https://broadrouter.com/hi/guides/openai-node-sdk/) में यही लूप JavaScript में है।

## जब स्ट्रीम बीच में ख़त्म हो जाए

अगर कनेक्शन `[DONE]` से पहले बंद हो जाए, तो जवाब अधूरा है। BroadNet की सलाह:

-   `X-Request-ID` दर्ज करें;
-   तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से एक **नया** अनुरोध भेज सकता है या नहीं। रीट्राई एक नया इन्फ़रेंस है, और उपयोग के अनुसार भुगतान में उसका बिल फिर से बनता है।

[अनलिमिटेड प्लान](https://broadrouter.com/hi/guides/unlimited-llm-api-sessions/) पर चलने वाले एजेंट के लिए रीट्राई का कोई अतिरिक्त ख़र्च नहीं है, लेकिन चलते समय वे सेशन को घेरे रखते हैं।

BroadNet के डॉक्स कहते हैं कि प्रोडक्शन में स्ट्रीमिंग पर भरोसा करने से पहले हर मॉडल का रिलीज़ वेरिफ़िकेशन अब भी ज़रूरी है, इसलिए जिस मॉडल के साथ आप शिप कर रहे हैं, उस पर इसे टेस्ट करें।

## समस्या निवारण

-   **सब कुछ आख़िर में एक साथ प्रिंट होता है.** curl को `-N` चाहिए। अगर बीच में आपका अपना प्रॉक्सी है, तो `text/event-stream` के लिए रिस्पॉन्स बफ़रिंग बंद करें।
-   **आख़िरी चंक पर `IndexError` या `undefined`.** usage वाले चंक में `choices` की सूची ख़ाली होती है। `[0]` पढ़ने से पहले `chunk.choices` जाँचें।
-   **usage बिल्कुल नहीं आता.** आपने `stream_options` नहीं भेजा, या स्ट्रीम आख़िरी चंक से पहले टूट गई।
-   **स्ट्रीम थोड़े से टेक्स्ट के साथ `finish_reason` `length` पर रुक जाती है.** किसी रीज़निंग मॉडल ने `max_tokens` रीज़निंग पर ख़र्च कर दिए। देखें [रीज़निंग मॉडल ख़ाली जवाब क्यों देते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **पैरेलल स्ट्रीमिंग के दौरान 429.** हर खुली स्ट्रीम एक चालू अनुरोध गिनी जाती है; उपयोग के अनुसार भुगतान वाली key 4 की अनुमति देती है। देखें [BroadNet एरर कोड और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/)।

## इस गाइड के शब्द

[स्ट्रीमिंग (streaming)](https://broadrouter.com/hi/glossary/streaming/)

स्ट्रीमिंग, लैंग्वेज मॉडल के जवाब को अंत में एक साथ लौटाने के बजाय, बनते समय ही छोटे-छोटे टुकड़ों (chunks) में लौटाने का तरीक़ा है। OpenAI-कम्पैटिबल API, अनुरोध में stream को true सेट करने पर server-sent events से स्ट्रीम करते हैं।

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[AI एजेंट (AI agent)](https://broadrouter.com/hi/glossary/agent/)

AI एजेंट ऐसा सिस्टम है जिसमें लैंग्वेज मॉडल किसी लक्ष्य की ओर अपने क़दम ख़ुद तय करता है: कौन-से टूल कॉल करने हैं, चुनता है, नतीजे पढ़ता है और अंतिम जवाब या किसी सीमा तक दोहराता रहता है। तय बिंदुओं पर मॉडल को कॉल करने वाली स्क्रिप्ट को आम तौर पर workflow कहते हैं।

[Server-sent events (SSE)](https://broadrouter.com/hi/glossary/sse/)

Server-sent events (SSE) एक वेब स्टैंडर्ड है, जिसमें सर्वर text/event-stream कंटेंट टाइप वाले एक लंबे खुले HTTP जवाब पर क्लाइंट को टेक्स्ट events की स्ट्रीम भेजता है। हर event में data: जैसी एक या ज़्यादा फ़ील्ड लाइनें होती हैं, और वह एक ख़ाली लाइन पर ख़त्म होता है।

[कैश्ड इनपुट टोकन (cached input tokens)](https://broadrouter.com/hi/glossary/cached-input-tokens/)

कैश्ड इनपुट टोकन वे प्रॉम्प्ट टोकन हैं जिन्हें LLM प्रोवाइडर ने हाल ही में प्रोसेस किया है और दोबारा गणना करने के बजाय कैश से फिर इस्तेमाल कर सकता है, आम तौर पर सिस्टम प्रॉम्प्ट या डॉक्यूमेंट जैसा दोहराया गया प्रीफ़िक्स। प्रोवाइडर इनका बिल नए इनपुट टोकन से कम दर पर बनाते हैं।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

## अक्सर पूछे जाने वाले सवाल

### chat completions स्ट्रीम करते समय टोकन usage कैसे मिलेगा?

stream\_options भेजें और उसमें include\_usage को true करें। data: \[DONE\] से ठीक पहले एक अतिरिक्त चंक आता है, जिसमें usage भरा होता है और choices की सूची ख़ाली होती है। अगर स्ट्रीम पहले ही टूट जाए, तो यह चंक कभी नहीं आता।

### curl पूरा स्ट्रीम किया गया जवाब एक साथ क्यों प्रिंट करता है?

curl डिफ़ॉल्ट रूप से अपना आउटपुट बफ़र करता है। -N फ़्लैग (no buffering) जोड़ें, ताकि हर Server-Sent Event आते ही प्रिंट हो।

### क्या रीट्राई की गई स्ट्रीम का बिल दो बार बनता है?

उपयोग के अनुसार भुगतान में, हाँ। रीट्राई एक नया इन्फ़रेंस अनुरोध है। DeepSeek V4.1 Flash के अनलिमिटेड प्लान पर कोई टोकन मीटर नहीं है, लेकिन रीट्राई चलते समय सेशन को घेरे रखता है।

### क्या स्ट्रीमिंग सामान्य अनुरोध से महँगी पड़ती है?

नहीं। स्ट्रीमिंग से सिर्फ़ यह बदलता है कि जवाब कैसे पहुँचता है, बिलिंग नहीं। उपयोग के अनुसार भुगतान में आप वही प्रति-टोकन इनपुट और आउटपुट कीमत देते हैं जो बिना स्ट्रीमिंग वाले अनुरोध में।

## संबंधित गाइड

-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-streaming-chat-completions&utm_content=page-cta) ·

**स्रोत**

-   [BroadNet Inference API रेफ़रंस, स्ट्रीमिंग (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML स्टैंडर्ड, server-sent events (2026-11-14 को जाँचा गया)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, stream\_options include\_usage का docstring (2026-11-14 को जाँचा गया)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
