BroadRouter
شروع کریں

اسٹریمنگ (streaming)

اپ ڈیٹ

اسٹریمنگ، لینگویج ماڈل کے جواب کو آخر میں ایک ساتھ لوٹانے کے بجائے، بنتے وقت ہی چھوٹے چھوٹے ٹکڑوں (chunks) میں لوٹانے کا طریقہ ہے۔ OpenAI-compatible APIs، درخواست میں stream کو true سیٹ کرنے پر server-sent events کے ذریعے اسٹریم کرتے ہیں۔

دوسرے نام: اسٹریمنگ، اسٹریمنگ رسپانس، ٹوکن اسٹریمنگ، streaming kya hai، LLM streaming kya hai، streaming، streaming responses، stream=true، token streaming

اسٹریمنگ کے بغیر کلائنٹ تب تک انتظار کرتا ہے جب تک پورا جواب تیار نہ ہو جائے۔ اسٹریمنگ کے ساتھ، ماڈل جیسے جیسے لکھتا ہے، متن ویسے ویسے نظر آتا ہے۔

یہ کیسے کام کرتی ہے

اسٹریمنگ server-sent events (SSE) استعمال کرتی ہے۔ سرور text/event-stream کانٹینٹ ٹائپ کے ساتھ جواب دیتا ہے اور کنکشن کھلا رکھتا ہے۔ MDN فارمیٹ بیان کرتا ہے: field: value والی لائنیں، اور پیغامات “separated by a pair of newline characters” (ترجمہ: دو newline کیریکٹرز سے الگ کیے گئے)۔

Chat Completions فارمیٹ میں ہر event ایک chunk لاتا ہے، جس میں ایک چھوٹا delta ہوتا ہے:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

کلائنٹ تمام delta جوڑتا ہے۔ بعینہٖ data: [DONE] والی لائن اختتام بتاتی ہے۔ usage والا chunk تب ہی آتا ہے جب درخواست نے stream_options: {"include_usage": true} کے ساتھ اسے مانگا ہو۔

یہ کیوں اہم ہے

  • محسوس ہونے والی رفتار۔ صارف کو پہلے الفاظ پورے جواب کے بعد نہیں بلکہ پہلے ٹوکن تک کے وقت کے بعد نظر آتے ہیں۔ اس کے بعد متن ماڈل کے ٹوکن فی سیکنڈ کی رفتار سے آتا ہے۔
  • لمبے آؤٹ پٹس۔ اسٹریمنگ کنکشن کو فعال رکھتی ہے، جس سے ان پراکسیز کے ساتھ مدد ملتی ہے جو غیر فعال درخواستیں بند کر دیتی ہیں۔
  • جلد کارروائی۔ ایجنٹس اور UIs اختتام سے پہلے ہی پارس یا رینڈر کرنا شروع کر سکتے ہیں۔

اس کی قیمت بھی ہے۔ OpenAI بتاتا ہے کہ اسٹریمنگ سے ماڈریشن مشکل ہوتی ہے، کیونکہ “partial completions may be more difficult to evaluate” (ترجمہ: ادھورے جوابات کی جانچ زیادہ مشکل ہو سکتی ہے)۔ اسٹریم بیچ میں ٹوٹ بھی سکتی ہے، اور اسٹریم ہوتا جواب ختم ہونے تک ایک concurrency سلاٹ گھیرے رکھتا ہے۔

BroadNet Inference پر

BroadNet، https://inference.broadnet.ai/v1/chat/completions پر معیاری chat-completions اسٹریمنگ ساخت استعمال کرتا ہے، اس لیے Python اور Node SDKs اسے آپ کے لیے پارس کر دیتے ہیں۔ curl کے ساتھ بفرنگ بند کرنے کے لیے -N شامل کریں:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

ریزننگ ماڈلز آخری usage chunk میں reasoning_tokens اور cached_tokens بتا سکتے ہیں۔ اگر کنکشن [DONE] سے پہلے بند ہو جائے تو جواب کو نامکمل سمجھیں، X-Request-ID ہیڈر ریکارڈ کریں، اور طے کریں کہ نئی درخواست بھیجنا محفوظ ہے یا نہیں۔ BroadNet کی دستاویزات کہتی ہیں کہ پروڈکشن میں بھروسا کرنے سے پہلے جس ماڈل کو آپ استعمال کریں گے اس پر اسٹریمنگ جانچ لیں۔ تفصیل اسٹریمنگ گائیڈ اور ایررز اور دوبارہ کوشش میں ہے۔

عام غلطیاں

  • بند ہوئے کنکشن کو مکمل جواب سمجھ لینا۔ صرف [DONE] کا مطلب ہے کہ جواب مکمل ہے۔
  • کلائنٹ کے آگے بفر کرنے والی پراکسی لگانا۔ تب جواب ایک ساتھ ہی پہنچتا ہے۔

عام سوالات

کیا اسٹریمنگ سے ماڈل تیز ہو جاتا ہے؟

نہیں۔ جنریشن کی رفتار وہی رہتی ہے۔ اسٹریمنگ پہلے الفاظ جلد دکھاتی ہے، اس لیے جواب تیز لگتا ہے، اور کوڈ ادھورے آؤٹ پٹ پر بھی کام شروع کر سکتا ہے۔

اسٹریم میں ٹوکن usage کیسے ملے؟

Chat Completions فارمیٹ میں stream_options بھیجیں اور اس میں include_usage کو true رکھیں۔ تب آخری چنک میں usage اور ایک خالی choices لسٹ آتی ہے۔

کیا دوبارہ چلائی گئی اسٹریم کا بل دو بار بنتا ہے؟

فی ٹوکن والی کلید پر عموماً ہاں۔ دوبارہ کوشش ایک نیا انفرنس ہے، جس کا بل پھر بنتا ہے۔ بغیر ٹوکن میٹر والے مقررہ قیمت کے پلان پر اس کی قیمت صرف وقت ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں