Ang SSE ang plain-text na framing sa ilalim ng halos lahat ng naka-stream na sagot ng LLM. Nakakatulong ang pagkakilala sa format kapag walang SDK o kapag nagloloko ang stream.
Paano ito gumagana
Ang WHATWG HTML standard ang nagtatakda ng format. May MIME type na text/event-stream ang response at laging UTF-8. Mga linya ng field: value ang body:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Ang mga patakaran sa pag-parse na mahalaga:
- Blank line ang nagpapadala ng event. Hangga’t hindi ito dumarating, nagba-buffer ang client.
- Pinagdurugtong gamit ang newline ang ilang
data:line para maging iisang message. - Comment ang linyang nagsisimula sa colon. Ipinapadala ito ng mga server para manatiling bukas ang idle na connection.
- Inaalis ang isang space pagkatapos ng colon. Puwedeng magtapos ang mga linya sa CRLF, LF o CR.
- Itinatakda ng
event,idatretryang uri ng event, ang ID ng huling event at ang reconnection delay sa millisecond.
Hindi tumutugma ang mga network read sa mga event. Puwedeng kalahating event o tatlong event ang laman ng isang read, kaya dapat mag-buffer ng bytes ang parser at maghati sa mga blank line, hindi sa bawat read.
Reconnection, mga proxy at [DONE]
May built-in na recovery ang standard para sa mga browser: pagkatapos maputol, nagre-reconnect ang EventSource at nagpapadala ng Last-Event-ID header, at kayang ihinto ng server ang mga retry gamit ang HTTP 204. Nagbababala rin ang spec na puwedeng putulin ng mga “legacy proxy servers” (lumang proxy server) ang HTTP connection pagkatapos ng maikling timeout, at iminumungkahi nito ang comment line “every 15 seconds or so” (mga bawat 15 segundo).
Mas kaunti rito ang ginagamit ng mga LLM API. Puro data: line lang ang ipinapadala ng Chat Completions stream ng OpenAI at nagtatapos ito sa data: [DONE], isang kumbensyon ng API, hindi ng SSE. Walang event ID na mapagtutuluyan, kaya hindi na maipagpapatuloy ang naputol na stream; bagong request ang retry. Nasa pahina ng streaming ang pangkalahatang larawan nito at ang benepisyo sa time to first token.
Sa BroadNet Inference
Sinasabi ng docs ng BroadNet na i-set ang stream=true at “read Server-Sent Events until the literal data: [DONE] marker” (Salin ng BroadRouter: “basahin ang Server-Sent Events hanggang sa mismong data: [DONE] marker”). Kung natapos ang connection bago iyon, ituring na hindi kumpleto ang response, i-record ang X-Request-ID header, at pagpasyahan kung ligtas ang bagong inference request. Sa stream_options: {"include_usage": true}, dumarating ang usage sa huling chunk. Gumagamit ng -N ang curl example sa docs para hindi mag-buffer ang curl. Humahawak din ang stream ng isang concurrency slot hanggang matapos ito: 4 sa pay-as-you-go key, isa sa hourly key. Hinihiling ng docs na i-verify ang streaming bawat model bago mag-production. Nasa streaming guide ang code para sa bawat SDK, at ipinapaliwanag ang laman ng mga chunk sa LLM streaming explained.