BroadRouter

Streaming chat completions và xử lý khi mất kết nối

Cập nhật

Đặt stream bằng true trên /v1/chat/completions và đọc Server-Sent Events cho đến đúng dòng data: [DONE]. Thêm stream_options include_usage để nhận số token trong chunk cuối. Nếu kết nối đóng trước [DONE], hãy coi câu trả lời là chưa đầy đủ và ghi log X-Request-ID.

Streaming cho phép agent hoặc giao diện chat hiển thị câu trả lời ngay trong lúc nó được tạo. BroadNet Inference dùng cấu trúc streaming chat completions tiêu chuẩn, nên OpenAI Python SDK và OpenAI Node SDK sẽ tự parse giúp bạn.

Streaming với curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N tắt bộ đệm của curl, còn -D lưu các header, trong đó có X-Request-ID.

Stream trông như thế nào?

Phản hồi là một stream Server-Sent Events. Theo chuẩn WHATWG HTML, mỗi event gồm một hoặc nhiều dòng data: và kết thúc bằng một dòng trống; dòng bắt đầu bằng dấu hai chấm là chú thích, bạn có thể bỏ qua. Mỗi dòng data: chứa một chunk JSON, và văn bản nằm trong choices[0].delta.content.

Các quy tắc

  1. Đọc event cho đến đúng dòng data: [DONE], rồi đóng reader.
  2. Với stream_options: {"include_usage": true}, ngay trước [DONE] sẽ có thêm một chunk. Chunk này chứa usage cho toàn bộ request và một danh sách choices rỗng, nên hãy kiểm tra choices trước khi truy cập theo chỉ số.
  3. Khi model có báo cáo, usage đó gồm completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời) và prompt_tokens_details.cached_tokens. Token cache được tính theo đơn giá đầu vào cache thấp hơn.

Streaming với Python SDK

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK tự đọc đến [DONE] cho bạn. Nếu dòng cuối in ra None, nghĩa là stream đã kết thúc trước khi chunk usage đến. Hướng dẫn OpenAI Node SDK trình bày vòng lặp tương tự bằng JavaScript.

Khi stream kết thúc sớm

Nếu kết nối đóng trước [DONE], câu trả lời chưa đầy đủ. Hướng dẫn của BroadNet:

  • ghi lại X-Request-ID;
  • quyết định xem ứng dụng của bạn có thể gửi một request mới một cách an toàn hay không. Một lần thử lại là một lượt inference mới và bị tính phí lại nếu trả theo mức dùng.

Với agent chạy trên gói không giới hạn, thử lại không tốn thêm chi phí, nhưng vẫn chiếm phiên trong lúc chạy.

Tài liệu của BroadNet nói vẫn cần kiểm tra theo từng model trước khi phát hành, rồi mới dựa vào streaming trong production, nên hãy thử trên đúng model bạn sẽ dùng.

Xử lý sự cố

  • Mọi thứ chỉ hiện ra ở cuối. curl cần -N. Nếu đi qua proxy của riêng bạn, hãy tắt bộ đệm phản hồi cho text/event-stream.
  • IndexError hoặc undefined ở chunk cuối. Chunk usage có danh sách choices rỗng. Hãy kiểm tra chunk.choices trước khi đọc [0].
  • Hoàn toàn không có usage. Bạn chưa gửi stream_options, hoặc stream bị ngắt trước chunk cuối.
  • Stream dừng với finish_reason là length và rất ít văn bản. Một model suy luận đã dùng hết max_tokens cho phần suy luận. Xem vì sao model suy luận trả về câu trả lời rỗng.
  • 429 khi chạy nhiều stream song song. Mỗi stream đang mở được tính là một request đang xử lý; một key trả theo mức dùng cho phép 4 request đồng thời. Xem mã lỗi BroadNet và cách thử lại.

Câu hỏi thường gặp

Làm sao lấy số token đã dùng khi streaming chat completions?

Gửi stream_options với include_usage bằng true. Ngay trước data: [DONE] sẽ có thêm một chunk, trong đó usage có giá trị và mảng choices rỗng. Nếu stream bị ngắt trước đó, chunk này sẽ không bao giờ đến.

Vì sao curl in toàn bộ câu trả lời streaming cùng một lúc?

Mặc định curl dùng bộ đệm cho đầu ra. Thêm cờ -N (không đệm) để mỗi Server-Sent Event được in ra ngay khi đến.

Stream được thử lại có bị tính phí hai lần không?

Nếu trả theo mức dùng thì có. Một lần thử lại là một request inference mới. Với gói DeepSeek V4.1 Flash không giới hạn thì không đo token, nhưng lần thử lại vẫn chiếm phiên trong lúc chạy.

Streaming có đắt hơn request thông thường không?

Không. Streaming thay đổi cách câu trả lời được gửi về, không thay đổi cách tính phí. Khi trả theo mức dùng, bạn trả cùng đơn giá đầu vào và đầu ra theo token như một request không dùng streaming.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity