يتيح البث المتدفق لوكيل أو لواجهة محادثة عرض الإجابة أثناء توليدها. يستخدم BroadNet Inference صيغة البث القياسية لإكمال المحادثات، لذا تتولى OpenAI Python SDK وOpenAI Node SDK التحليل نيابةً عنك.
باستخدام curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
يوقف الخيار -N التخزين المؤقت في curl، ويحفظ -D الترويسات، ومنها X-Request-ID.
كيف يبدو البث؟
الاستجابة بث من نوع Server-Sent Events. بحسب معيار WHATWG HTML، يتكوّن كل حدث من سطر data: واحد أو أكثر يليه سطر فارغ، والسطر الذي يبدأ بنقطتين رأسيتين تعليق يمكنك تجاهله. يحمل كل سطر data: جزءًا واحدًا بصيغة JSON، ويصل النص في choices[0].delta.content.
القواعد
- اقرأ الأحداث حتى السطر الحرفي
data: [DONE]، ثم أغلق القارئ. - مع
stream_options: {"include_usage": true}يصل جزء إضافي واحد قبل[DONE]مباشرة. يحملusageللطلب كله وقائمةchoicesفارغة، فتحقّق منchoicesقبل الوصول إلى عناصرها بالفهرس. - حين يُبلغ النموذج عنها، يتضمّن هذا الاستهلاك
completion_tokens_details.reasoning_tokens(تُجري نماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B استدلالًا منطقيًا أولًا) وprompt_tokens_details.cached_tokens. وتُحتسب الرموز المخزّنة مؤقتًا بسعر الإدخال المخزّن مؤقتًا الأقل.
باستخدام Python SDK
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
تقرأ حزمة SDK حتى [DONE] نيابةً عنك. ويعرض دليل OpenAI Node SDK الحلقة نفسها بلغة JavaScript.
حين ينتهي البث مبكرًا
إذا أُغلق الاتصال قبل [DONE]، فالإجابة غير مكتملة. توجيهات BroadNet:
- سجّل
X-Request-ID؛ - قرّر ما إذا كان تطبيقك يستطيع بأمان إرسال طلب جديد. إعادة المحاولة عملية استدلال جديدة تُحتسب مرة أخرى في الدفع حسب الاستخدام.
وللوكلاء على خطة غير محدودة، لا تكلّف إعادة المحاولة شيئًا إضافيًا، لكنها تظل تشغل الجلسة طوال تنفيذها.
تقول وثائق BroadNet إن التحقق من كل نموذج عند إصداره لا يزال مطلوبًا قبل الاعتماد على البث المتدفق في الإنتاج، فاختبره على النموذج الذي ستطلق به منتجك.
حل المشكلات
- يُطبع كل شيء في النهاية. يحتاج curl إلى
-N. وخلف وكيل (proxy) خاص بك، أوقف التخزين المؤقت للاستجابات من نوعtext/event-stream. IndexErrorأوundefinedفي آخر جزء. جزء الاستهلاك فيه قائمةchoicesفارغة. تحقّق منchunk.choicesقبل قراءة[0].- لا يوجد استهلاك على الإطلاق. لم ترسل
stream_options، أو انقطع البث قبل الجزء الأخير. - يتوقف البث مع
finish_reasonبقيمةlengthونص قليل. أنفق نموذج استدلال منطقيmax_tokensعلى الاستدلال. راجع لماذا تُرجع نماذج الاستدلال المنطقي إجابات فارغة. - 429 أثناء البث المتوازي. كل بث مفتوح يُحتسب طلبًا قيد التنفيذ؛ ويسمح مفتاح الدفع حسب الاستخدام بـ 4 منها. راجع رموز أخطاء BroadNet وإعادة المحاولة.
