BroadRouter

chat completions स्ट्रीम करें और टूटे कनेक्शन सँभालें

अपडेट किया गया

/v1/chat/completions पर stream को true करें और Server-Sent Events तब तक पढ़ें जब तक ठीक data: [DONE] मार्कर न आ जाए। आख़िरी चंक में टोकन गिनतियाँ पाने के लिए stream_options में include_usage जोड़ें। अगर कनेक्शन [DONE] से पहले टूट जाए, तो जवाब को अधूरा मानें और X-Request-ID लॉग करें।

स्ट्रीमिंग से कोई एजेंट या चैट इंटरफ़ेस जवाब को बनते-बनते दिखा सकता है। BroadNet Inference, chat-completions स्ट्रीमिंग का स्टैंडर्ड फ़ॉर्मैट इस्तेमाल करता है, इसलिए OpenAI Python SDK और OpenAI Node SDK पार्सिंग आपके लिए कर देते हैं।

curl से

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N curl की बफ़रिंग बंद करता है, और -D हेडर सेव करता है, जिनमें X-Request-ID भी है।

स्ट्रीम दिखती कैसी है?

रिस्पॉन्स एक Server-Sent Events स्ट्रीम है। WHATWG HTML स्टैंडर्ड के अनुसार हर इवेंट एक या ज़्यादा data: लाइनों और उसके बाद एक ख़ाली लाइन से बनता है, और कोलन से शुरू होने वाली लाइन एक कमेंट है जिसे आप अनदेखा कर सकते हैं। हर data: लाइन में एक JSON चंक होता है, और टेक्स्ट choices[0].delta.content में आता है।

नियम

  1. ठीक data: [DONE] लाइन आने तक इवेंट पढ़ें, फिर रीडर बंद करें।
  2. stream_options: {"include_usage": true} के साथ [DONE] से ठीक पहले एक अतिरिक्त चंक आता है। इसमें पूरे अनुरोध का usage और एक ख़ाली choices सूची होती है, इसलिए इंडेक्स करने से पहले choices जाँचें।
  3. जब मॉडल इन्हें रिपोर्ट करता है, तो उस usage में completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पहले रीज़निंग करते हैं) और prompt_tokens_details.cached_tokens शामिल होते हैं। कैश्ड टोकन का बिल कैश्ड इनपुट की कम कीमत पर बनता है।

Python SDK से

नीचे के कोड के आख़िर में अगर usage की वैल्यू None है, तो इसका मतलब है कि स्ट्रीम usage वाले चंक से पहले ख़त्म हो गई।

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK आपके लिए [DONE] तक पढ़ता है। OpenAI Node SDK गाइड में यही लूप JavaScript में है।

जब स्ट्रीम बीच में ख़त्म हो जाए

अगर कनेक्शन [DONE] से पहले बंद हो जाए, तो जवाब अधूरा है। BroadNet की सलाह:

  • X-Request-ID दर्ज करें;
  • तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से एक नया अनुरोध भेज सकता है या नहीं। रीट्राई एक नया इन्फ़रेंस है, और उपयोग के अनुसार भुगतान में उसका बिल फिर से बनता है।

अनलिमिटेड प्लान पर चलने वाले एजेंट के लिए रीट्राई का कोई अतिरिक्त ख़र्च नहीं है, लेकिन चलते समय वे सेशन को घेरे रखते हैं।

BroadNet के डॉक्स कहते हैं कि प्रोडक्शन में स्ट्रीमिंग पर भरोसा करने से पहले हर मॉडल का रिलीज़ वेरिफ़िकेशन अब भी ज़रूरी है, इसलिए जिस मॉडल के साथ आप शिप कर रहे हैं, उस पर इसे टेस्ट करें।

समस्या निवारण

  • सब कुछ आख़िर में एक साथ प्रिंट होता है. curl को -N चाहिए। अगर बीच में आपका अपना प्रॉक्सी है, तो text/event-stream के लिए रिस्पॉन्स बफ़रिंग बंद करें।
  • आख़िरी चंक पर IndexError या undefined. usage वाले चंक में choices की सूची ख़ाली होती है। [0] पढ़ने से पहले chunk.choices जाँचें।
  • usage बिल्कुल नहीं आता. आपने stream_options नहीं भेजा, या स्ट्रीम आख़िरी चंक से पहले टूट गई।
  • स्ट्रीम थोड़े से टेक्स्ट के साथ finish_reason length पर रुक जाती है. किसी रीज़निंग मॉडल ने max_tokens रीज़निंग पर ख़र्च कर दिए। देखें रीज़निंग मॉडल ख़ाली जवाब क्यों देते हैं।
  • पैरेलल स्ट्रीमिंग के दौरान 429. हर खुली स्ट्रीम एक चालू अनुरोध गिनी जाती है; उपयोग के अनुसार भुगतान वाली key 4 की अनुमति देती है। देखें BroadNet एरर कोड और रीट्राई।

अक्सर पूछे जाने वाले सवाल

chat completions स्ट्रीम करते समय टोकन usage कैसे मिलेगा?

stream_options भेजें और उसमें include_usage को true करें। data: [DONE] से ठीक पहले एक अतिरिक्त चंक आता है, जिसमें usage भरा होता है और choices की सूची ख़ाली होती है। अगर स्ट्रीम पहले ही टूट जाए, तो यह चंक कभी नहीं आता।

curl पूरा स्ट्रीम किया गया जवाब एक साथ क्यों प्रिंट करता है?

curl डिफ़ॉल्ट रूप से अपना आउटपुट बफ़र करता है। -N फ़्लैग (no buffering) जोड़ें, ताकि हर Server-Sent Event आते ही प्रिंट हो।

क्या रीट्राई की गई स्ट्रीम का बिल दो बार बनता है?

उपयोग के अनुसार भुगतान में, हाँ। रीट्राई एक नया इन्फ़रेंस अनुरोध है। DeepSeek V4.1 Flash के अनलिमिटेड प्लान पर कोई टोकन मीटर नहीं है, लेकिन रीट्राई चलते समय सेशन को घेरे रखता है।

क्या स्ट्रीमिंग सामान्य अनुरोध से महँगी पड़ती है?

नहीं। स्ट्रीमिंग से सिर्फ़ यह बदलता है कि जवाब कैसे पहुँचता है, बिलिंग नहीं। उपयोग के अनुसार भुगतान में आप वही प्रति-टोकन इनपुट और आउटपुट कीमत देते हैं जो बिना स्ट्रीमिंग वाले अनुरोध में।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें