BroadRouter

Server-sent events (SSE)

अपडेट किया गया

Server-sent events (SSE) एक वेब स्टैंडर्ड है, जिसमें सर्वर text/event-stream कंटेंट टाइप वाले एक लंबे खुले HTTP जवाब पर क्लाइंट को टेक्स्ट events की स्ट्रीम भेजता है। हर event में data: जैसी एक या ज़्यादा फ़ील्ड लाइनें होती हैं, और वह एक ख़ाली लाइन पर ख़त्म होता है।

अन्य नाम: सर्वर-सेंट इवेंट्स, इवेंट स्ट्रीम, SSE kya hai, server sent events kya hai, SSE, server-sent events, text/event-stream, event stream, EventSource

लगभग हर स्ट्रीम किए गए LLM जवाब के नीचे SSE का सादा टेक्स्ट ढाँचा होता है। जब कोई SDK उपलब्ध न हो या स्ट्रीम गड़बड़ करे, तब इस फ़ॉर्मैट की समझ काम आती है।

यह कैसे काम करता है

WHATWG HTML स्टैंडर्ड यह फ़ॉर्मैट तय करता है। जवाब का MIME टाइप text/event-stream होता है और वह हमेशा UTF-8 में होता है। बॉडी field: value वाली लाइनों से बनी होती है:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

पार्सिंग के ज़रूरी नियम:

  • ख़ाली लाइन event को भेजती (dispatch करती) है. जब तक वह न आए, क्लाइंट बफ़र करता रहता है।
  • कई data: लाइनें newline से जुड़कर एक मैसेज बनती हैं।
  • कोलन से शुरू होने वाली लाइन कमेंट है. सर्वर इन्हें निष्क्रिय कनेक्शन खुले रखने के लिए भेजते हैं।
  • कोलन के बाद का एक स्पेस हटा दिया जाता है. लाइनें CRLF, LF या CR पर ख़त्म हो सकती हैं।
  • event, id और retry event का टाइप, आख़िरी event ID और मिलीसेकंड में री-कनेक्शन की देरी तय करते हैं।

नेटवर्क से पढ़ा गया डेटा events के साथ मेल नहीं खाता। एक बार की रीड में आधा event हो सकता है या तीन events, इसलिए पार्सर को बाइट बफ़र करके ख़ाली लाइनों पर बाँटना चाहिए, रीड के हिसाब से नहीं।

री-कनेक्शन, प्रॉक्सी और [DONE]

स्टैंडर्ड में ब्राउज़र के लिए रिकवरी पहले से है: कनेक्शन टूटने के बाद EventSource दोबारा जुड़ता है और Last-Event-ID हेडर भेजता है, और सर्वर HTTP 204 से री-ट्राई रोक सकता है। स्पेक यह चेतावनी भी देता है कि “legacy proxy servers” (अनुवाद: पुराने प्रॉक्सी सर्वर) थोड़े टाइमआउट के बाद HTTP कनेक्शन तोड़ सकते हैं, और “every 15 seconds or so” (अनुवाद: लगभग हर 15 सेकंड में) एक कमेंट लाइन भेजने का सुझाव देता है।

LLM API इसमें से कम इस्तेमाल करते हैं। OpenAI की Chat Completions स्ट्रीम सिर्फ़ data: लाइनें भेजती है और data: [DONE] पर ख़त्म होती है, जो API की परिपाटी है, SSE की नहीं। फिर से शुरू करने के लिए कोई event ID नहीं होता, इसलिए टूटी स्ट्रीम आगे नहीं बढ़ाई जा सकती; री-ट्राई एक नया अनुरोध है। स्ट्रीमिंग की पूरी तस्वीर और पहले टोकन तक के समय का फ़ायदा उसी पेज पर है।

BroadNet Inference पर

BroadNet के डॉक्स stream=true सेट करने और “read Server-Sent Events until the literal data: [DONE] marker” (अनुवाद: ठीक data: [DONE] मार्कर आने तक Server-Sent Events पढ़ें) कहते हैं। अगर कनेक्शन उससे पहले ख़त्म हो जाए, तो जवाब को अधूरा मानें, X-Request-ID हेडर रिकॉर्ड करें, और तय करें कि नया इन्फ़रेंस अनुरोध भेजना सुरक्षित है या नहीं। stream_options: {"include_usage": true} के साथ usage आख़िरी chunk में आता है। डॉक्स का curl उदाहरण -N इस्तेमाल करता है ताकि curl बफ़र न करे। स्ट्रीम ख़त्म होने तक एक कॉन्करेंसी स्लॉट भी घेरे रहती है: उपयोग के अनुसार भुगतान वाली key पर 4, घंटे वाली key पर एक। डॉक्स कहते हैं कि प्रोडक्शन से पहले हर मॉडल पर स्ट्रीमिंग जाँच लें। हर SDK का कोड स्ट्रीमिंग गाइड में है, और chunk के अंदर क्या होता है, यह LLM स्ट्रीमिंग की व्याख्या में समझाया गया है।

अक्सर पूछे जाने वाले सवाल

क्या मैं LLM API के साथ ब्राउज़र का EventSource API इस्तेमाल कर सकता हूँ?

आम तौर पर सीधे नहीं। स्पेक का EventSource कंस्ट्रक्टर सिर्फ़ एक URL और withCredentials फ़्लैग लेता है, इसलिए वह POST बॉडी या Authorization हेडर नहीं भेज सकता। fetch इस्तेमाल करें और स्ट्रीम ख़ुद पार्स करें, या कोई SDK लें।

"data: [DONE]" का क्या मतलब है?

यह SSE स्टैंडर्ड का हिस्सा नहीं है। OpenAI जैसे API अपने आख़िरी event के तौर पर ठीक "data: [DONE]" लाइन भेजते हैं, यह बताने के लिए कि जवाब पूरा हो गया।

मेरी स्ट्रीम एक साथ क्यों आती है?

सर्वर और आपके कोड के बीच कोई चीज़ जवाब को बफ़र कर रही है, जैसे रिवर्स प्रॉक्सी, कोई फ़्रेमवर्क, या -N के बिना curl। उस रूट के लिए बफ़रिंग बंद करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें