Streaming cho phép agent hoặc giao diện chat hiển thị câu trả lời ngay trong lúc nó được tạo. BroadNet Inference dùng cấu trúc streaming chat completions tiêu chuẩn, nên OpenAI Python SDK và OpenAI Node SDK sẽ tự parse giúp bạn.
Streaming với curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N tắt bộ đệm của curl, còn -D lưu các header, trong đó có X-Request-ID.
Stream trông như thế nào?
Phản hồi là một stream Server-Sent Events. Theo chuẩn WHATWG HTML, mỗi event gồm một hoặc nhiều dòng data: và kết thúc bằng một dòng trống; dòng bắt đầu bằng dấu hai chấm là chú thích, bạn có thể bỏ qua. Mỗi dòng data: chứa một chunk JSON, và văn bản nằm trong choices[0].delta.content.
Các quy tắc
- Đọc event cho đến đúng dòng
data: [DONE], rồi đóng reader. - Với
stream_options: {"include_usage": true}, ngay trước[DONE]sẽ có thêm một chunk. Chunk này chứausagecho toàn bộ request và một danh sáchchoicesrỗng, nên hãy kiểm trachoicestrước khi truy cập theo chỉ số. - Khi model có báo cáo, usage đó gồm
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời) vàprompt_tokens_details.cached_tokens. Token cache được tính theo đơn giá đầu vào cache thấp hơn.
Streaming với Python SDK
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK tự đọc đến [DONE] cho bạn. Nếu dòng cuối in ra None, nghĩa là stream đã kết thúc trước khi chunk usage đến. Hướng dẫn OpenAI Node SDK trình bày vòng lặp tương tự bằng JavaScript.
Khi stream kết thúc sớm
Nếu kết nối đóng trước [DONE], câu trả lời chưa đầy đủ. Hướng dẫn của BroadNet:
- ghi lại
X-Request-ID; - quyết định xem ứng dụng của bạn có thể gửi một request mới một cách an toàn hay không. Một lần thử lại là một lượt inference mới và bị tính phí lại nếu trả theo mức dùng.
Với agent chạy trên gói không giới hạn, thử lại không tốn thêm chi phí, nhưng vẫn chiếm phiên trong lúc chạy.
Tài liệu của BroadNet nói vẫn cần kiểm tra theo từng model trước khi phát hành, rồi mới dựa vào streaming trong production, nên hãy thử trên đúng model bạn sẽ dùng.
Xử lý sự cố
- Mọi thứ chỉ hiện ra ở cuối. curl cần
-N. Nếu đi qua proxy của riêng bạn, hãy tắt bộ đệm phản hồi chotext/event-stream. IndexErrorhoặcundefinedở chunk cuối. Chunk usage có danh sáchchoicesrỗng. Hãy kiểm trachunk.choicestrước khi đọc[0].- Hoàn toàn không có usage. Bạn chưa gửi
stream_options, hoặc stream bị ngắt trước chunk cuối. - Stream dừng với
finish_reasonlàlengthvà rất ít văn bản. Một model suy luận đã dùng hếtmax_tokenscho phần suy luận. Xem vì sao model suy luận trả về câu trả lời rỗng. - 429 khi chạy nhiều stream song song. Mỗi stream đang mở được tính là một request đang xử lý; một key trả theo mức dùng cho phép 4 request đồng thời. Xem mã lỗi BroadNet và cách thử lại.
