SSE là lớp đóng khung văn bản thuần nằm bên dưới gần như mọi câu trả lời LLM được stream. Hiểu định dạng này giúp ích khi không có SDK hoặc khi stream hoạt động bất thường.
Cách hoạt động
Chuẩn WHATWG HTML định nghĩa định dạng. Response có MIME type text/event-stream và luôn là UTF-8. Body gồm các dòng field: value:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Các quy tắc parse quan trọng:
- Một dòng trống phát đi sự kiện. Trước khi nó tới, client giữ trong buffer.
- Nhiều dòng
data:được nối bằng ký tự xuống dòng thành một message. - Dòng bắt đầu bằng dấu hai chấm là chú thích. Server gửi các dòng này để giữ kết nối đang rảnh không bị đóng.
- Một khoảng trắng sau dấu hai chấm bị bỏ đi. Dòng có thể kết thúc bằng CRLF, LF hoặc CR.
event,idvàretryđặt loại sự kiện, ID sự kiện cuối cùng và độ trễ kết nối lại tính bằng mili giây.
Các lần đọc mạng không khớp với ranh giới sự kiện. Một lần đọc có thể chứa nửa sự kiện hoặc ba sự kiện, nên parser phải buffer byte và tách theo dòng trống, không theo từng lần đọc.
Kết nối lại, proxy và [DONE]
Chuẩn này có sẵn cơ chế phục hồi cho trình duyệt: sau khi mất kết nối, EventSource kết nối lại và gửi header Last-Event-ID, và server có thể dừng việc thử lại bằng HTTP 204. Đặc tả cũng cảnh báo rằng “legacy proxy servers” (Bản dịch: các proxy server đời cũ) có thể ngắt kết nối HTTP sau một timeout ngắn, và gợi ý gửi một dòng chú thích “every 15 seconds or so” (Bản dịch: khoảng mỗi 15 giây).
API LLM dùng ít các tính năng này hơn. Stream Chat Completions của OpenAI chỉ gửi dòng data: và kết thúc bằng data: [DONE], một quy ước của API chứ không phải của SSE. Không có ID sự kiện để nối tiếp, nên một stream bị đứt không thể tiếp tục; thử lại là một request mới. Bức tranh chung về streaming và lợi ích về thời gian tới token đầu tiên được trình bày ở trang đó.
Trên BroadNet Inference
Tài liệu của BroadNet dặn đặt stream=true và “read Server-Sent Events until the literal data: [DONE] marker” (Bản dịch: đọc Server-Sent Events cho tới dấu mốc nguyên văn data: [DONE]). Nếu kết nối kết thúc trước đó, hãy coi response là chưa hoàn chỉnh, ghi lại header X-Request-ID, và quyết định xem gửi một request inference mới có an toàn không. Với stream_options: {"include_usage": true}, usage đến trong chunk cuối. Ví dụ curl trong tài liệu dùng -N để curl không buffer. Một stream cũng giữ một suất request đồng thời cho tới khi kết thúc: 4 với key trả theo mức dùng, một với key theo giờ. Tài liệu yêu cầu kiểm tra streaming theo từng model trước khi đưa vào production. Code cho từng SDK có trong hướng dẫn streaming, và nội dung các chunk được giải thích trong Giải thích streaming LLM.