BroadRouter

LLM اسٹریمنگ کی وضاحت: SSE چنکس، ڈیلٹا، usage اور منسوخی

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

LLM API چیٹ کمپلیشن کو Server-Sent Events کی صورت میں اسٹریم کرتا ہے: ہر data لائن میں ایک JSON چنک ہوتا ہے جس کا choices[0].delta متن کا اگلا ٹکڑا لاتا ہے۔ ڈیلٹا جوڑتے جائیں، data: [DONE] پر رکیں، اور stream_options میں include_usage سیٹ کریں تاکہ خالی choices فہرست والے آخری چنک میں ٹوکن کی گنتی ملے۔ منسوخ کرنے کے لیے کنکشن بند کریں۔

اسٹریمنگ کے بغیر چیٹ کمپلیشن تب تک کچھ نہیں لوٹاتا جب تک پورا جواب تیار نہ ہو جائے۔ تقریباً 100 ٹوکن فی سیکنڈ پر 600 ٹوکن کے جواب کا مطلب کئی سیکنڈ کی خاموشی ہے۔ اسٹریمنگ کے ساتھ پہلے الفاظ ماڈل کے لکھتے ہی نظر آنے لگتے ہیں۔ یہ پوسٹ بتاتی ہے کہ وائر پر اصل میں کیا جاتا ہے، اسے کیسے پارس کریں، اسٹریم سے ٹوکن usage کیسے نکالیں، اور اسے صاف طریقے سے کیسے روکیں۔ BroadNet کے مخصوص اصول مختصراً دیکھنے کے لیے اسٹریمنگ ریفرنس گائیڈ دیکھیں۔

وائر پر SSE اسٹریم کیسی دکھتی ہے؟

Server-Sent Events ایک سادہ HTTP جواب ہے، Content-Type: text/event-stream کے ساتھ۔ سرور کنکشن کھلا رکھتا ہے اور ایونٹس لکھتا جاتا ہے۔ ہر ایونٹ ایک یا زیادہ data: لائنیں ہیں جن کے بعد ایک خالی لائن آتی ہے۔ OpenAI سے مطابقت رکھنے والے APIs ہر ایونٹ میں ایک JSON چنک رکھتے ہیں اور آخر میں لفظی [DONE] بھیجتے ہیں:

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]

اوپر کی ساخت مثال کے لیے ہے اور مختصر کی گئی ہے۔ اصل چنکس میں model اور created بھی ہوتے ہیں، اور ریزننگ ماڈلز usage میں ریزننگ ٹوکن بھی بتا سکتے ہیں۔

ایک چنک میں کیا ہوتا ہے؟

فیلڈ کہاں مطلب
choices[0].delta.role پہلا چنک عموماً assistant۔ ایک بار بھیجا جاتا ہے۔
choices[0].delta.content زیادہ تر چنکس متن کا اگلا ٹکڑا۔ خالی بھی ہو سکتا ہے۔
choices[0].delta.tool_calls ٹول کالز فنکشن کے نام اور JSON arguments کے ٹکڑے، جنہیں index سے جوڑنا ہے۔
choices[0].finish_reason آخری مواد والا چنک stop، length یا tool_calls۔ تب تک null۔
usage آخری چنک، اگر مانگا گیا ہو پوری درخواست کی کل گنتی۔ باقی ہر جگہ null۔

اصل نکتہ ہے ڈیلٹا، اسنیپ شاٹ نہیں۔ ہر چنک میں صرف وہی ہوتا ہے جو نیا ہے۔ آپ ٹکڑوں کو ترتیب سے جوڑ کر پیغام دوبارہ بناتے ہیں۔ ٹول کالز بھی اسی طرح اسٹریم ہوتی ہیں: arguments اسٹرنگ کے ٹکڑوں میں آتے ہیں جو آخری ٹکڑا آنے تک درست JSON نہیں ہوتے، اس لیے انہیں تبھی پارس کریں جب finish_reason tool_calls ہو۔

اسٹریم سے ٹوکن usage کیسے نکالیں؟

بغیر اسٹریم والے جواب میں usage ہمیشہ ہوتا ہے۔ اسٹریم میں نہیں، جب تک آپ نہ مانگیں۔ stream_options: {"include_usage": true} سیٹ کریں، اور سرور [DONE] سے پہلے ایک اضافی چنک بھیجتا ہے۔ اس چنک میں کل گنتی اور ایک خالی choices ایرے ہوتا ہے۔ BroadNet Inference پر، جب ماڈل رپورٹ کرے، usage میں prompt_tokens_details.cached_tokens اور completion_tokens_details.reasoning_tokens بھی ہو سکتے ہیں، اور لاگت کی لاگنگ کے لیے آپ کو یہی چاہیے۔

عام بگ: جو کوڈ ہر چنک پر chunk.choices[0] پڑھتا ہے، وہ usage والے چنک پر index ایرر پھینکتا ہے۔ پہلے choices دیکھیں۔

Python: اسٹریم کریں، usage لیں، منسوخ کریں

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)

صرف break پڑھنا روک دیتا ہے، لیکن ساکٹ تب تک کھلا رہتا ہے جب تک garbage collection نہ ہو۔ اسے واضح طور پر بند کریں تاکہ سرور کو کنکشن کٹنا نظر آئے۔

Node: AbortController کے ساتھ اسٹریم

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}

openai-node README signal آپشن درج کرتا ہے، اور یہ تب بھی کام کرتا ہے جب باڈی ابھی پڑھی جا رہی ہو۔ ویب سرور میں controller.abort() کو کلائنٹ درخواست کے close ایونٹ سے جوڑیں، تاکہ صفحہ چھوڑنے والا صارف جنریشن بھی روک دے۔ مزید سیٹ اپ Node SDK گائیڈ میں ہے۔

curl: خام ایونٹس دیکھیں

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'

-N آؤٹ پٹ بفرنگ بند کرتا ہے تاکہ ایونٹس آتے ہی پرنٹ ہوں۔ منسوخ کرنے کے لیے Ctrl+C دبائیں؛ اس سے کنکشن بند ہو جاتا ہے۔ API ریکویسٹ بلڈر کسی بھی ماڈل اور base URL کے لیے یہ درخواست، اور اس کے Python اور Node ورژن، بناتا ہے۔

اسٹریم کیسے منسوخ کریں، اور اس کی لاگت کیا ہے؟

SSE میں منسوخی بس کنکشن بند کرنا ہے۔ کوئی ”stop“ پیغام نہیں ہوتا۔ آگے کیا ہوگا، یہ سرور پر منحصر ہے: ٹھیک سے بنا سرور بند ساکٹ دیکھ کر جنریشن روک دیتا ہے۔ اس لمحے سے پہلے بننے والے ٹوکن اصل کام تھے۔ BroadNet کا API ریفرنس منسوخ شدہ اسٹریمز کی بلنگ درج نہیں کرتا، اس لیے یہ فرض کر کے منصوبہ بنائیں کہ استعمال کے مطابق ادائیگی پر کنکشن کٹنے تک بننے والے ٹوکن بل ہوتے ہیں، اور اپنے usage ریکارڈز دیکھیں۔ مقررہ قیمت والے پلان پر منسوخ شدہ اسٹریم کا کوئی اضافی خرچ نہیں، لیکن سیشن تبھی فارغ ہوتا ہے جب سرور رکتا ہے۔

اسٹریمنگ کے پانچ بگ جنہیں جانچنا چاہیے

  1. بفر کرنے والی پراکسیز۔ Nginx اور کچھ CDNs جوابات بفر کرتے ہیں، اس لیے کلائنٹ کو سب کچھ ایک ساتھ ملتا ہے۔ اسٹریمنگ روٹ کے لیے پراکسی بفرنگ بند کریں۔
  2. [DONE] کی جانچ نہیں۔ ٹوٹا کنکشن مختصر جواب جیسا لگتا ہے۔ [DONE] نہ ملنے کو ادھورا سمجھیں اور X-Request-ID ریکارڈ کریں، جیسا ایررز گائیڈ بتاتی ہے۔
  3. اسٹریم کے بیچ میں دوبارہ کوشش۔ باڈی آنا شروع ہونے کے بعد SDKs دوبارہ کوشش نہیں کرتے۔ دوبارہ کوشش ایک نئی درخواست ہے، اور استعمال کے مطابق ادائیگی پر ایک نیا بل۔
  4. finish_reason: length کو نظرانداز کرنا۔ DeepSeek V4.1 Flash جیسے ریزننگ ماڈلز پر تھنکنگ max_tokens میں گنی جاتی ہے، اس لیے چھوٹی حد کوئی بھی نظر آنے والا متن آنے سے پہلے اسٹریم روک سکتی ہے۔ ریزننگ ٹوکن کی لاگت کیا ہے۔
  5. لائنیں غلط توڑنا۔ اگر آپ SSE ہاتھ سے پارس کرتے ہیں تو خالی لائن نظر آنے تک بائٹس بفر کریں۔ ایک TCP ریڈ JSON چنک کے بیچ میں ختم ہو سکتی ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference اسٹینڈرڈ OpenAI سے مطابقت رکھنے والی اسٹریمنگ ساخت استعمال کرتا ہے، اس لیے Python اور Node SDKs اسے بغیر تبدیلی پارس کرتے ہیں۔ آخری چنک کے usage میں، جب ماڈل رپورٹ کرے، کیش شدہ اور ریزننگ ٹوکن شامل ہوتے ہیں۔ اس کی دستاویزات کہتی ہیں کہ پروڈکشن سے پہلے ہر ماڈل پر اسٹریمنگ کی تصدیق کرنی چاہیے، اس لیے اوپر کا کوڈ اسی ماڈل پر چلائیں جسے آپ شپ کرتے ہیں۔ اگر آپ کو زیادہ فکر اس کی ہے کہ پہلا ٹوکن کتنی جلدی آتا ہے، تو آگے TTFT بمقابلہ تھروپٹ پڑھیں۔ اگر آپ کو WebSockets پر ریئل ٹائم آواز چاہیے تو یہ API اس کے لیے نہیں بنا؛ یہ چیٹ کمپلیشنز اور فائل ٹرانسکرپشن فراہم کرتا ہے۔

عام سوالات

LLM اسٹریمنگ کے لیے SSE اور WebSockets میں کیا فرق ہے؟

SSE یک طرفہ ہے، سرور سے کلائنٹ کی طرف، ایک عام HTTP جواب پر۔ چیٹ کمپلیشن کو بس اتنا ہی چاہیے، اس لیے OpenAI سے مطابقت رکھنے والے APIs SSE استعمال کرتے ہیں۔ WebSockets دو طرفہ ہیں اور انہیں پروٹوکول اپ گریڈ چاہیے؛ یہ ریئل ٹائم آواز کے لیے استعمال ہوتے ہیں، چیٹ کمپلیشنز کے لیے نہیں۔

میرے اسٹریمنگ چنکس میں usage null کیوں ہے؟

Usage تبھی بھیجا جاتا ہے جب آپ مانگیں۔ stream_options جوڑیں اور اس میں include_usage کو true کریں۔ تب آخری کے سوا ہر چنک میں usage null ہوتا ہے، اور آخری چنک خالی choices فہرست کے ساتھ کل گنتی لاتا ہے۔

اگر میں اسٹریم منسوخ کروں تو کیا مجھ سے پیسے لیے جائیں گے؟

فراہم کنندگان مختلف ہیں اور بہت سے اسے درج نہیں کرتے۔ فرض کریں کہ سرور کو بند کنکشن کا پتا چلنے سے پہلے بننے والے ٹوکن بل ہوتے ہیں۔ X-Request-ID لاگ کریں اور اپنے usage ریکارڈز سے ملائیں۔

کیسے پتا چلے کہ اسٹریم معمول کے مطابق مکمل ہوئی؟

آپ کو data: [DONE] ملا اور آخری مواد والے چنک میں stop جیسا finish_reason تھا۔ length والے finish_reason کا مطلب ہے کہ max_tokens نے جواب کاٹ دیا۔ [DONE] نہ ملے تو کنکشن ٹوٹ گیا۔

کیا اسٹریمنگ سے ماڈل تیز ہو جاتا ہے؟

نہیں۔ کل جنریشن کا وقت اتنا ہی رہتا ہے۔ اسٹریمنگ وہ وقت کم کرتی ہے جب تک صارف کو پہلے الفاظ نظر آتے ہیں، اور اسی سے چیٹ انٹرفیس تیز محسوس ہوتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں