BroadRouter
ابدأ الآن

البث المتدفق (Streaming)

آخر تحديث

البث المتدفق (streaming) طريقة لإرجاع استجابة النموذج اللغوي على أجزاء صغيرة أثناء توليدها، بدل إرجاعها ردًا واحدًا في النهاية. وتبث الواجهات المتوافقة مع OpenAI عبر أحداث يرسلها الخادم (server-sent events) حين يضبط الطلب stream على true.

يُسمّى أيضًا: البث المتدفق، بث الردود، بث الرموز، الاستجابة المتدفقة، streaming، streaming responses، stream=true، token streaming

دون البث المتدفق، ينتظر العميل حتى تكتمل الإجابة كلها. ومعه، يظهر النص بينما يكتبه النموذج.

كيف يعمل

يستخدم البث المتدفق الأحداث التي يرسلها الخادم (SSE). إذ يجيب الخادم بنوع المحتوى text/event-stream ويُبقي الاتصال مفتوحًا. وتصف MDN الصيغة: أسطر بالشكل field: value، والرسائل “separated by a pair of newline characters.” (ترجمة: يفصل بينها سطران جديدان.)

في صيغة Chat Completions، يحمل كل حدث جزءًا فيه delta صغير:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

يجمع العميل هذه الأجزاء. والسطر الحرفي data: [DONE] يعلن النهاية. ولا يظهر جزء الاستخدام إلا إن طلبه الطلب عبر stream_options: {"include_usage": true}.

لماذا يهم

  • السرعة المُدرَكة. يرى المستخدمون الكلمات الأولى بعد زمن أول رمز، لا بعد اكتمال الرد. وبعد ذلك يتدفق النص بمعدل الرموز في الثانية للنموذج.
  • المخرجات الطويلة. يُبقي البث الاتصال نشطًا، وهذا يساعد مع الوسطاء (proxies) الذين يغلقون الطلبات الخاملة.
  • التصرف المبكر. يمكن للوكلاء والواجهات البدء بالتحليل أو العرض قبل النهاية.

لكن له تكاليف. تنبّه OpenAI إلى أن البث يجعل الإشراف على المحتوى أصعب، لأن “partial completions may be more difficult to evaluate” (ترجمة: قد يكون تقييم الإكمالات الجزئية أصعب). وقد ينقطع البث في منتصفه أيضًا، والرد المتدفق يشغل مكانًا ضمن حد التزامن حتى ينتهي.

في BroadNet Inference

تستخدم BroadNet بنية البث القياسية لـ chat completions على https://inference.broadnet.ai/v1/chat/completions، فتحلّلها حزمتا SDK لـ Python وNode نيابةً عنك. ومع curl، أضف -N لتعطيل التخزين المؤقت للمخرجات:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

قد تذكر نماذج الاستدلال المنطقي reasoning_tokens وcached_tokens في جزء الاستخدام الأخير. وإن أُغلق الاتصال قبل [DONE]، فاعتبر الإجابة ناقصة، وسجّل الترويسة X-Request-ID، وقرّر هل إرسال طلب جديد آمن. ويوصي توثيق BroadNet بالتحقق من البث على النموذج الذي ستطلقه قبل الاعتماد عليه في الإنتاج. والتفاصيل في دليل البث المتدفق والأخطاء وإعادة المحاولة.

أخطاء شائعة

  • اعتبار الاتصال المغلق إجابةً مكتملة. لا يعني الاكتمال إلا [DONE].
  • وضع وسيط يخزّن المخرجات مؤقتًا أمام العميل، فيصل الرد دفعة واحدة.

أسئلة شائعة

هل يجعل البث المتدفق النموذج أسرع؟

لا. سرعة التوليد هي نفسها. لكن البث يُظهر الكلمات الأولى أسرع، فيبدو الرد أسرع، ويتيح للشيفرة أن تتصرف بناءً على مخرجات جزئية.

كيف أحصل على استخدام الرموز أثناء البث؟

في صيغة Chat Completions، أرسل stream_options مع ضبط include_usage على true. عندها يحمل الجزء الأخير بيانات الاستخدام وقائمة choices فارغة.

هل يُحاسَب البث المُعاد مرتين؟

على مفتاح يُحاسَب بالرمز، نعم غالبًا؛ فإعادة المحاولة عملية استدلال جديدة تُحاسَب من جديد. أما على خطة ثابتة السعر دون عدّاد للرموز، فهي لا تكلّف إلا الوقت.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity