BroadRouter
Bắt đầu

Streaming (trả phản hồi dạng luồng)

Cập nhật

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

Còn gọi là: streaming là gì, phản hồi dạng stream, stream token, streaming responses, stream=true, token streaming

Không có streaming, client phải chờ tới khi toàn bộ câu trả lời xong. Có streaming, chữ hiện ra ngay khi model viết.

Cách hoạt động

Streaming dùng server-sent events (SSE). Server trả lời với content type text/event-stream và giữ kết nối mở. MDN mô tả định dạng: các dòng field: value, với các message “separated by a pair of newline characters.” (Bản dịch: phân tách bằng một cặp ký tự xuống dòng).

Trong định dạng Chat Completions, mỗi event mang một chunk có một delta nhỏ:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Client ghép các delta lại. Dòng data: [DONE] nguyên văn đánh dấu kết thúc. Chunk usage chỉ xuất hiện nếu request yêu cầu bằng stream_options: {"include_usage": true}.

Vì sao quan trọng

  • Tốc độ cảm nhận. Người dùng thấy những chữ đầu tiên sau thời gian tới token đầu tiên, không phải sau cả câu trả lời. Sau đó, chữ chảy ra theo số token mỗi giây của model.
  • Đầu ra dài. Streaming giữ kết nối hoạt động, giúp ích khi có proxy đóng các request đứng yên.
  • Xử lý sớm. Agent và UI có thể bắt đầu parse hoặc hiển thị trước khi kết thúc.

Cũng có cái giá. OpenAI lưu ý streaming khiến việc kiểm duyệt khó hơn, vì “partial completions may be more difficult to evaluate.” (Bản dịch: các kết quả hoàn thành từng phần có thể khó đánh giá hơn). Một stream cũng có thể đứt giữa chừng, và một câu trả lời đang stream giữ một suất request đồng thời cho tới khi kết thúc.

Trên BroadNet Inference

BroadNet dùng cấu trúc streaming chat completions chuẩn tại https://inference.broadnet.ai/v1/chat/completions, nên SDK Python và Node tự parse giúp bạn. Với curl, thêm -N để tắt buffer:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Model suy luận có thể báo reasoning_tokens và cached_tokens trong chunk usage cuối cùng. Nếu kết nối đóng trước [DONE], hãy coi câu trả lời là chưa hoàn chỉnh, ghi lại header X-Request-ID và quyết định xem gửi request mới có an toàn không. Tài liệu BroadNet khuyên kiểm tra streaming trên chính model bạn dùng trước khi dựa vào nó trong production. Chi tiết có trong hướng dẫn streaming và lỗi và thử lại.

Lỗi thường gặp

  • Coi kết nối bị đóng là câu trả lời đã xong. Chỉ [DONE] mới nghĩa là hoàn chỉnh.
  • Đặt một proxy có buffer trước client. Khi đó câu trả lời đến cùng một lúc.

Câu hỏi thường gặp

Streaming có làm model chạy nhanh hơn không?

Không. Tốc độ sinh vẫn như cũ. Streaming cho thấy những chữ đầu tiên sớm hơn, nên câu trả lời có cảm giác nhanh hơn, và cho phép code xử lý đầu ra từng phần.

Làm sao lấy usage token trong một stream?

Trong định dạng Chat Completions, gửi stream_options với include_usage đặt là true. Chunk cuối khi đó chứa usage và một danh sách choices rỗng.

Stream thử lại có bị tính phí hai lần không?

Với key tính theo token, thường là có. Một lần thử lại là một lần inference mới, bị tính phí lại. Với gói giá cố định không có đồng hồ đo token, nó chỉ tốn thời gian.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity