BroadRouter
Bắt đầu

Server-sent events (SSE)

Cập nhật

Server-sent events (SSE) là một chuẩn web cho phép server đẩy một luồng sự kiện dạng văn bản tới client qua một HTTP response duy nhất, giữ mở lâu, với content type text/event-stream. Mỗi sự kiện gồm một hoặc nhiều dòng trường, như data:, và kết thúc bằng một dòng trống.

Còn gọi là: SSE là gì, sự kiện gửi từ server, luồng sự kiện, SSE streaming, SSE, server-sent events, text/event-stream, event stream, EventSource

SSE là lớp đóng khung văn bản thuần nằm bên dưới gần như mọi câu trả lời LLM được stream. Hiểu định dạng này giúp ích khi không có SDK hoặc khi stream hoạt động bất thường.

Cách hoạt động

Chuẩn WHATWG HTML định nghĩa định dạng. Response có MIME type text/event-stream và luôn là UTF-8. Body gồm các dòng field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Các quy tắc parse quan trọng:

  • Một dòng trống phát đi sự kiện. Trước khi nó tới, client giữ trong buffer.
  • Nhiều dòng data: được nối bằng ký tự xuống dòng thành một message.
  • Dòng bắt đầu bằng dấu hai chấm là chú thích. Server gửi các dòng này để giữ kết nối đang rảnh không bị đóng.
  • Một khoảng trắng sau dấu hai chấm bị bỏ đi. Dòng có thể kết thúc bằng CRLF, LF hoặc CR.
  • event, id và retry đặt loại sự kiện, ID sự kiện cuối cùng và độ trễ kết nối lại tính bằng mili giây.

Các lần đọc mạng không khớp với ranh giới sự kiện. Một lần đọc có thể chứa nửa sự kiện hoặc ba sự kiện, nên parser phải buffer byte và tách theo dòng trống, không theo từng lần đọc.

Kết nối lại, proxy và [DONE]

Chuẩn này có sẵn cơ chế phục hồi cho trình duyệt: sau khi mất kết nối, EventSource kết nối lại và gửi header Last-Event-ID, và server có thể dừng việc thử lại bằng HTTP 204. Đặc tả cũng cảnh báo rằng “legacy proxy servers” (Bản dịch: các proxy server đời cũ) có thể ngắt kết nối HTTP sau một timeout ngắn, và gợi ý gửi một dòng chú thích “every 15 seconds or so” (Bản dịch: khoảng mỗi 15 giây).

API LLM dùng ít các tính năng này hơn. Stream Chat Completions của OpenAI chỉ gửi dòng data: và kết thúc bằng data: [DONE], một quy ước của API chứ không phải của SSE. Không có ID sự kiện để nối tiếp, nên một stream bị đứt không thể tiếp tục; thử lại là một request mới. Bức tranh chung về streaming và lợi ích về thời gian tới token đầu tiên được trình bày ở trang đó.

Trên BroadNet Inference

Tài liệu của BroadNet dặn đặt stream=true và “read Server-Sent Events until the literal data: [DONE] marker” (Bản dịch: đọc Server-Sent Events cho tới dấu mốc nguyên văn data: [DONE]). Nếu kết nối kết thúc trước đó, hãy coi response là chưa hoàn chỉnh, ghi lại header X-Request-ID, và quyết định xem gửi một request inference mới có an toàn không. Với stream_options: {"include_usage": true}, usage đến trong chunk cuối. Ví dụ curl trong tài liệu dùng -N để curl không buffer. Một stream cũng giữ một suất request đồng thời cho tới khi kết thúc: 4 với key trả theo mức dùng, một với key theo giờ. Tài liệu yêu cầu kiểm tra streaming theo từng model trước khi đưa vào production. Code cho từng SDK có trong hướng dẫn streaming, và nội dung các chunk được giải thích trong Giải thích streaming LLM.

Câu hỏi thường gặp

Tôi có dùng được EventSource API của trình duyệt với API LLM không?

Thường là không dùng trực tiếp được. Constructor EventSource trong đặc tả chỉ nhận một URL và cờ withCredentials, nên không gửi được body POST hay header Authorization. Hãy dùng fetch và tự parse luồng, hoặc dùng SDK.

"data: [DONE]" nghĩa là gì?

Nó không thuộc chuẩn SSE. Các API kiểu OpenAI gửi nguyên văn dòng "data: [DONE]" làm sự kiện cuối cùng để báo câu trả lời đã xong.

Vì sao stream của tôi đến cùng một lúc?

Có thứ gì đó giữa server và code của bạn đang buffer response, như reverse proxy, framework hoặc curl không có -N. Hãy tắt buffer cho route đó.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity