اسٹریمنگ کے بغیر کلائنٹ تب تک انتظار کرتا ہے جب تک پورا جواب تیار نہ ہو جائے۔ اسٹریمنگ کے ساتھ، ماڈل جیسے جیسے لکھتا ہے، متن ویسے ویسے نظر آتا ہے۔
یہ کیسے کام کرتی ہے
اسٹریمنگ server-sent events (SSE) استعمال کرتی ہے۔ سرور text/event-stream کانٹینٹ ٹائپ کے ساتھ جواب دیتا ہے اور کنکشن کھلا رکھتا ہے۔ MDN فارمیٹ بیان کرتا ہے: field: value والی لائنیں، اور پیغامات “separated by a pair of newline characters” (ترجمہ: دو newline کیریکٹرز سے الگ کیے گئے)۔
Chat Completions فارمیٹ میں ہر event ایک chunk لاتا ہے، جس میں ایک چھوٹا delta ہوتا ہے:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
کلائنٹ تمام delta جوڑتا ہے۔ بعینہٖ data: [DONE] والی لائن اختتام بتاتی ہے۔ usage والا chunk تب ہی آتا ہے جب درخواست نے stream_options: {"include_usage": true} کے ساتھ اسے مانگا ہو۔
یہ کیوں اہم ہے
- محسوس ہونے والی رفتار۔ صارف کو پہلے الفاظ پورے جواب کے بعد نہیں بلکہ پہلے ٹوکن تک کے وقت کے بعد نظر آتے ہیں۔ اس کے بعد متن ماڈل کے ٹوکن فی سیکنڈ کی رفتار سے آتا ہے۔
- لمبے آؤٹ پٹس۔ اسٹریمنگ کنکشن کو فعال رکھتی ہے، جس سے ان پراکسیز کے ساتھ مدد ملتی ہے جو غیر فعال درخواستیں بند کر دیتی ہیں۔
- جلد کارروائی۔ ایجنٹس اور UIs اختتام سے پہلے ہی پارس یا رینڈر کرنا شروع کر سکتے ہیں۔
اس کی قیمت بھی ہے۔ OpenAI بتاتا ہے کہ اسٹریمنگ سے ماڈریشن مشکل ہوتی ہے، کیونکہ “partial completions may be more difficult to evaluate” (ترجمہ: ادھورے جوابات کی جانچ زیادہ مشکل ہو سکتی ہے)۔ اسٹریم بیچ میں ٹوٹ بھی سکتی ہے، اور اسٹریم ہوتا جواب ختم ہونے تک ایک concurrency سلاٹ گھیرے رکھتا ہے۔
BroadNet Inference پر
BroadNet، https://inference.broadnet.ai/v1/chat/completions پر معیاری chat-completions اسٹریمنگ ساخت استعمال کرتا ہے، اس لیے Python اور Node SDKs اسے آپ کے لیے پارس کر دیتے ہیں۔ curl کے ساتھ بفرنگ بند کرنے کے لیے -N شامل کریں:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
ریزننگ ماڈلز آخری usage chunk میں reasoning_tokens اور cached_tokens بتا سکتے ہیں۔ اگر کنکشن [DONE] سے پہلے بند ہو جائے تو جواب کو نامکمل سمجھیں، X-Request-ID ہیڈر ریکارڈ کریں، اور طے کریں کہ نئی درخواست بھیجنا محفوظ ہے یا نہیں۔ BroadNet کی دستاویزات کہتی ہیں کہ پروڈکشن میں بھروسا کرنے سے پہلے جس ماڈل کو آپ استعمال کریں گے اس پر اسٹریمنگ جانچ لیں۔ تفصیل اسٹریمنگ گائیڈ اور ایررز اور دوبارہ کوشش میں ہے۔
عام غلطیاں
- بند ہوئے کنکشن کو مکمل جواب سمجھ لینا۔ صرف
[DONE]کا مطلب ہے کہ جواب مکمل ہے۔ - کلائنٹ کے آگے بفر کرنے والی پراکسی لگانا۔ تب جواب ایک ساتھ ہی پہنچتا ہے۔