Kung walang streaming, naghihintay ang client hanggang matapos ang buong sagot. Kapag may streaming, lumalabas ang text habang isinusulat ito ng model.
Paano ito gumagana
Gumagamit ang streaming ng server-sent events (SSE). Sumasagot ang server gamit ang content type na text/event-stream at pinananatiling bukas ang connection. Inilalarawan ng MDN ang format: mga linyang field: value, at ang mga mensahe ay “separated by a pair of newline characters.” (Salin ng BroadRouter: “pinaghihiwalay ng dalawang newline character.”)
Sa format ng Chat Completions, may dalang chunk ang bawat event na may maliit na delta. Sa example sa ibaba, dumarating ang “Hel” at “lo” sa magkahiwalay na chunk, saka ang usage chunk, at panghuli ang [DONE]:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
Pinagdurugtong ng client ang mga delta. Ang mismong linyang data: [DONE] ang hudyat ng dulo. Lumalabas lang ang usage chunk kung hiningi ito ng request gamit ang stream_options: {"include_usage": true}.
Bakit ito mahalaga
- Pakiramdam ng bilis. Nakikita ng user ang unang mga salita pagkatapos ng time to first token, hindi pagkatapos ng buong sagot. Pagkatapos noon, dumadaloy ang text ayon sa tokens per second ng model.
- Mahahabang output. Pinananatiling aktibo ng streaming ang connection, na nakakatulong sa mga proxy na nagsasara ng idle na request.
- Maagang aksyon. Puwede nang magsimulang mag-parse o mag-render ang mga agent at UI bago pa matapos.
May kapalit ito. Ayon sa OpenAI, pinahihirap ng streaming ang moderation, dahil “partial completions may be more difficult to evaluate.” (Salin ng BroadRouter: “maaaring mas mahirap suriin ang mga bahagyang completion.”) Puwede ring maputol ang stream sa gitna, at hawak ng isang naka-stream na sagot ang isang concurrency slot hanggang matapos ito.
Sa BroadNet Inference
Ginagamit ng BroadNet ang karaniwang streaming format ng chat completions sa https://inference.broadnet.ai/v1/chat/completions, kaya ang Python at Node SDK na ang nagpa-parse nito para sa iyo. Sa curl, idagdag ang -N para patayin ang buffering:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Puwedeng iulat ng mga reasoning model ang reasoning_tokens at cached_tokens sa huling usage chunk. Kung nagsara ang connection bago ang [DONE], ituring na hindi kumpleto ang sagot, i-record ang X-Request-ID header, at pagpasyahan kung ligtas ang bagong request. Ayon sa docs ng BroadNet, i-verify ang streaming sa model na gagamitin mo bago umasa rito sa production. Nasa streaming guide at errors and retries ang mga detalye.
Mga karaniwang pagkakamali
- Pagturing sa nagsarang connection bilang tapos na sagot.
[DONE]lang ang ibig sabihing kumpleto. - Paglalagay ng proxy na nagba-buffer sa harap ng client. Sabay-sabay tuloy na dumarating ang buong sagot.