Không có streaming, client phải chờ tới khi toàn bộ câu trả lời xong. Có streaming, chữ hiện ra ngay khi model viết.
Cách hoạt động
Streaming dùng server-sent events (SSE). Server trả lời với content type text/event-stream và giữ kết nối mở. MDN mô tả định dạng: các dòng field: value, với các message “separated by a pair of newline characters.” (Bản dịch: phân tách bằng một cặp ký tự xuống dòng).
Trong định dạng Chat Completions, mỗi event mang một chunk có một delta nhỏ:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
Client ghép các delta lại. Dòng data: [DONE] nguyên văn đánh dấu kết thúc. Chunk usage chỉ xuất hiện nếu request yêu cầu bằng stream_options: {"include_usage": true}.
Vì sao quan trọng
- Tốc độ cảm nhận. Người dùng thấy những chữ đầu tiên sau thời gian tới token đầu tiên, không phải sau cả câu trả lời. Sau đó, chữ chảy ra theo số token mỗi giây của model.
- Đầu ra dài. Streaming giữ kết nối hoạt động, giúp ích khi có proxy đóng các request đứng yên.
- Xử lý sớm. Agent và UI có thể bắt đầu parse hoặc hiển thị trước khi kết thúc.
Cũng có cái giá. OpenAI lưu ý streaming khiến việc kiểm duyệt khó hơn, vì “partial completions may be more difficult to evaluate.” (Bản dịch: các kết quả hoàn thành từng phần có thể khó đánh giá hơn). Một stream cũng có thể đứt giữa chừng, và một câu trả lời đang stream giữ một suất request đồng thời cho tới khi kết thúc.
Trên BroadNet Inference
BroadNet dùng cấu trúc streaming chat completions chuẩn tại https://inference.broadnet.ai/v1/chat/completions, nên SDK Python và Node tự parse giúp bạn. Với curl, thêm -N để tắt buffer:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Model suy luận có thể báo reasoning_tokens và cached_tokens trong chunk usage cuối cùng. Nếu kết nối đóng trước [DONE], hãy coi câu trả lời là chưa hoàn chỉnh, ghi lại header X-Request-ID và quyết định xem gửi request mới có an toàn không. Tài liệu BroadNet khuyên kiểm tra streaming trên chính model bạn dùng trước khi dựa vào nó trong production. Chi tiết có trong hướng dẫn streaming và lỗi và thử lại.
Lỗi thường gặp
- Coi kết nối bị đóng là câu trả lời đã xong. Chỉ
[DONE]mới nghĩa là hoàn chỉnh. - Đặt một proxy có buffer trước client. Khi đó câu trả lời đến cùng một lúc.