اسٹریمنگ کے بغیر چیٹ کمپلیشن تب تک کچھ نہیں لوٹاتا جب تک پورا جواب تیار نہ ہو جائے۔ تقریباً 100 ٹوکن فی سیکنڈ پر 600 ٹوکن کے جواب کا مطلب کئی سیکنڈ کی خاموشی ہے۔ اسٹریمنگ کے ساتھ پہلے الفاظ ماڈل کے لکھتے ہی نظر آنے لگتے ہیں۔ یہ پوسٹ بتاتی ہے کہ وائر پر اصل میں کیا جاتا ہے، اسے کیسے پارس کریں، اسٹریم سے ٹوکن usage کیسے نکالیں، اور اسے صاف طریقے سے کیسے روکیں۔ BroadNet کے مخصوص اصول مختصراً دیکھنے کے لیے اسٹریمنگ ریفرنس گائیڈ دیکھیں۔
وائر پر SSE اسٹریم کیسی دکھتی ہے؟
Server-Sent Events ایک سادہ HTTP جواب ہے، Content-Type: text/event-stream کے ساتھ۔ سرور کنکشن کھلا رکھتا ہے اور ایونٹس لکھتا جاتا ہے۔ ہر ایونٹ ایک یا زیادہ data: لائنیں ہیں جن کے بعد ایک خالی لائن آتی ہے۔ OpenAI سے مطابقت رکھنے والے APIs ہر ایونٹ میں ایک JSON چنک رکھتے ہیں اور آخر میں لفظی [DONE] بھیجتے ہیں:
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}
data: [DONE]
اوپر کی ساخت مثال کے لیے ہے اور مختصر کی گئی ہے۔ اصل چنکس میں model اور created بھی ہوتے ہیں، اور ریزننگ ماڈلز usage میں ریزننگ ٹوکن بھی بتا سکتے ہیں۔
ایک چنک میں کیا ہوتا ہے؟
| فیلڈ | کہاں | مطلب |
|---|---|---|
choices[0].delta.role |
پہلا چنک | عموماً assistant۔ ایک بار بھیجا جاتا ہے۔ |
choices[0].delta.content |
زیادہ تر چنکس | متن کا اگلا ٹکڑا۔ خالی بھی ہو سکتا ہے۔ |
choices[0].delta.tool_calls |
ٹول کالز | فنکشن کے نام اور JSON arguments کے ٹکڑے، جنہیں index سے جوڑنا ہے۔ |
choices[0].finish_reason |
آخری مواد والا چنک | stop، length یا tool_calls۔ تب تک null۔ |
usage |
آخری چنک، اگر مانگا گیا ہو | پوری درخواست کی کل گنتی۔ باقی ہر جگہ null۔ |
اصل نکتہ ہے ڈیلٹا، اسنیپ شاٹ نہیں۔ ہر چنک میں صرف وہی ہوتا ہے جو نیا ہے۔ آپ ٹکڑوں کو ترتیب سے جوڑ کر پیغام دوبارہ بناتے ہیں۔ ٹول کالز بھی اسی طرح اسٹریم ہوتی ہیں: arguments اسٹرنگ کے ٹکڑوں میں آتے ہیں جو آخری ٹکڑا آنے تک درست JSON نہیں ہوتے، اس لیے انہیں تبھی پارس کریں جب finish_reason tool_calls ہو۔
اسٹریم سے ٹوکن usage کیسے نکالیں؟
بغیر اسٹریم والے جواب میں usage ہمیشہ ہوتا ہے۔ اسٹریم میں نہیں، جب تک آپ نہ مانگیں۔ stream_options: {"include_usage": true} سیٹ کریں، اور سرور [DONE] سے پہلے ایک اضافی چنک بھیجتا ہے۔ اس چنک میں کل گنتی اور ایک خالی choices ایرے ہوتا ہے۔ BroadNet Inference پر، جب ماڈل رپورٹ کرے، usage میں prompt_tokens_details.cached_tokens اور completion_tokens_details.reasoning_tokens بھی ہو سکتے ہیں، اور لاگت کی لاگنگ کے لیے آپ کو یہی چاہیے۔
عام بگ: جو کوڈ ہر چنک پر chunk.choices[0] پڑھتا ہے، وہ usage والے چنک پر index ایرر پھینکتا ہے۔ پہلے choices دیکھیں۔
Python: اسٹریم کریں، usage لیں، منسوخ کریں
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", # DeepSeek V4.1 Flash, a reasoning model
messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
stream=True,
stream_options={"include_usage": True},
max_tokens=2000, # reasoning counts toward this limit
)
def user_pressed_stop(): # replace with your own condition
return False
parts, usage, finish = [], None, None
try:
for chunk in stream:
if chunk.choices:
choice = chunk.choices[0]
if choice.delta.content:
parts.append(choice.delta.content)
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish = choice.finish_reason
if chunk.usage:
usage = chunk.usage
if user_pressed_stop(): # your own condition
break
finally:
stream.close() # closes the HTTP connection
text = "".join(parts)
صرف break پڑھنا روک دیتا ہے، لیکن ساکٹ تب تک کھلا رہتا ہے جب تک garbage collection نہ ہو۔ اسے واضح طور پر بند کریں تاکہ سرور کو کنکشن کٹنا نظر آئے۔
Node: AbortController کے ساتھ اسٹریم
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s
const stream = await client.chat.completions.create(
{
model: "broadnet/deepseek-v4.1-flash",
messages: [{ role: "user", content: "Explain SSE in three sentences." }],
stream: true,
stream_options: { include_usage: true },
},
{ signal: controller.signal },
);
let text = "";
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) text += delta;
if (chunk.usage) console.log(chunk.usage);
}
openai-node README signal آپشن درج کرتا ہے، اور یہ تب بھی کام کرتا ہے جب باڈی ابھی پڑھی جا رہی ہو۔ ویب سرور میں controller.abort() کو کلائنٹ درخواست کے close ایونٹ سے جوڑیں، تاکہ صفحہ چھوڑنے والا صارف جنریشن بھی روک دے۔ مزید سیٹ اپ Node SDK گائیڈ میں ہے۔
curl: خام ایونٹس دیکھیں
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
-N آؤٹ پٹ بفرنگ بند کرتا ہے تاکہ ایونٹس آتے ہی پرنٹ ہوں۔ منسوخ کرنے کے لیے Ctrl+C دبائیں؛ اس سے کنکشن بند ہو جاتا ہے۔ API ریکویسٹ بلڈر کسی بھی ماڈل اور base URL کے لیے یہ درخواست، اور اس کے Python اور Node ورژن، بناتا ہے۔
اسٹریم کیسے منسوخ کریں، اور اس کی لاگت کیا ہے؟
SSE میں منسوخی بس کنکشن بند کرنا ہے۔ کوئی ”stop“ پیغام نہیں ہوتا۔ آگے کیا ہوگا، یہ سرور پر منحصر ہے: ٹھیک سے بنا سرور بند ساکٹ دیکھ کر جنریشن روک دیتا ہے۔ اس لمحے سے پہلے بننے والے ٹوکن اصل کام تھے۔ BroadNet کا API ریفرنس منسوخ شدہ اسٹریمز کی بلنگ درج نہیں کرتا، اس لیے یہ فرض کر کے منصوبہ بنائیں کہ استعمال کے مطابق ادائیگی پر کنکشن کٹنے تک بننے والے ٹوکن بل ہوتے ہیں، اور اپنے usage ریکارڈز دیکھیں۔ مقررہ قیمت والے پلان پر منسوخ شدہ اسٹریم کا کوئی اضافی خرچ نہیں، لیکن سیشن تبھی فارغ ہوتا ہے جب سرور رکتا ہے۔
اسٹریمنگ کے پانچ بگ جنہیں جانچنا چاہیے
- بفر کرنے والی پراکسیز۔ Nginx اور کچھ CDNs جوابات بفر کرتے ہیں، اس لیے کلائنٹ کو سب کچھ ایک ساتھ ملتا ہے۔ اسٹریمنگ روٹ کے لیے پراکسی بفرنگ بند کریں۔
[DONE]کی جانچ نہیں۔ ٹوٹا کنکشن مختصر جواب جیسا لگتا ہے۔[DONE]نہ ملنے کو ادھورا سمجھیں اورX-Request-IDریکارڈ کریں، جیسا ایررز گائیڈ بتاتی ہے۔- اسٹریم کے بیچ میں دوبارہ کوشش۔ باڈی آنا شروع ہونے کے بعد SDKs دوبارہ کوشش نہیں کرتے۔ دوبارہ کوشش ایک نئی درخواست ہے، اور استعمال کے مطابق ادائیگی پر ایک نیا بل۔
finish_reason: lengthکو نظرانداز کرنا۔ DeepSeek V4.1 Flash جیسے ریزننگ ماڈلز پر تھنکنگ max_tokens میں گنی جاتی ہے، اس لیے چھوٹی حد کوئی بھی نظر آنے والا متن آنے سے پہلے اسٹریم روک سکتی ہے۔ ریزننگ ٹوکن کی لاگت کیا ہے۔- لائنیں غلط توڑنا۔ اگر آپ SSE ہاتھ سے پارس کرتے ہیں تو خالی لائن نظر آنے تک بائٹس بفر کریں۔ ایک TCP ریڈ JSON چنک کے بیچ میں ختم ہو سکتی ہے۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference اسٹینڈرڈ OpenAI سے مطابقت رکھنے والی اسٹریمنگ ساخت استعمال کرتا ہے، اس لیے Python اور Node SDKs اسے بغیر تبدیلی پارس کرتے ہیں۔ آخری چنک کے usage میں، جب ماڈل رپورٹ کرے، کیش شدہ اور ریزننگ ٹوکن شامل ہوتے ہیں۔ اس کی دستاویزات کہتی ہیں کہ پروڈکشن سے پہلے ہر ماڈل پر اسٹریمنگ کی تصدیق کرنی چاہیے، اس لیے اوپر کا کوڈ اسی ماڈل پر چلائیں جسے آپ شپ کرتے ہیں۔ اگر آپ کو زیادہ فکر اس کی ہے کہ پہلا ٹوکن کتنی جلدی آتا ہے، تو آگے TTFT بمقابلہ تھروپٹ پڑھیں۔ اگر آپ کو WebSockets پر ریئل ٹائم آواز چاہیے تو یہ API اس کے لیے نہیں بنا؛ یہ چیٹ کمپلیشنز اور فائل ٹرانسکرپشن فراہم کرتا ہے۔
