BroadRouter
Magsimula

Streaming

Na-update

Ang streaming ay paraan ng pagbabalik ng sagot ng language model nang paunti-unting chunk habang binubuo pa ito, sa halip na iisang sagot sa dulo. Sa mga OpenAI-compatible na API, dumadaan ang streaming sa server-sent events kapag naka-set sa true ang stream sa request.

Tinatawag ding: LLM streaming, pag-stream ng sagot, streaming responses, stream=true, token streaming

Kung walang streaming, naghihintay ang client hanggang matapos ang buong sagot. Kapag may streaming, lumalabas ang text habang isinusulat ito ng model.

Paano ito gumagana

Gumagamit ang streaming ng server-sent events (SSE). Sumasagot ang server gamit ang content type na text/event-stream at pinananatiling bukas ang connection. Inilalarawan ng MDN ang format: mga linyang field: value, at ang mga mensahe ay “separated by a pair of newline characters.” (Salin ng BroadRouter: “pinaghihiwalay ng dalawang newline character.”)

Sa format ng Chat Completions, may dalang chunk ang bawat event na may maliit na delta. Sa example sa ibaba, dumarating ang “Hel” at “lo” sa magkahiwalay na chunk, saka ang usage chunk, at panghuli ang [DONE]:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Pinagdurugtong ng client ang mga delta. Ang mismong linyang data: [DONE] ang hudyat ng dulo. Lumalabas lang ang usage chunk kung hiningi ito ng request gamit ang stream_options: {"include_usage": true}.

Bakit ito mahalaga

  • Pakiramdam ng bilis. Nakikita ng user ang unang mga salita pagkatapos ng time to first token, hindi pagkatapos ng buong sagot. Pagkatapos noon, dumadaloy ang text ayon sa tokens per second ng model.
  • Mahahabang output. Pinananatiling aktibo ng streaming ang connection, na nakakatulong sa mga proxy na nagsasara ng idle na request.
  • Maagang aksyon. Puwede nang magsimulang mag-parse o mag-render ang mga agent at UI bago pa matapos.

May kapalit ito. Ayon sa OpenAI, pinahihirap ng streaming ang moderation, dahil “partial completions may be more difficult to evaluate.” (Salin ng BroadRouter: “maaaring mas mahirap suriin ang mga bahagyang completion.”) Puwede ring maputol ang stream sa gitna, at hawak ng isang naka-stream na sagot ang isang concurrency slot hanggang matapos ito.

Sa BroadNet Inference

Ginagamit ng BroadNet ang karaniwang streaming format ng chat completions sa https://inference.broadnet.ai/v1/chat/completions, kaya ang Python at Node SDK na ang nagpa-parse nito para sa iyo. Sa curl, idagdag ang -N para patayin ang buffering:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Puwedeng iulat ng mga reasoning model ang reasoning_tokens at cached_tokens sa huling usage chunk. Kung nagsara ang connection bago ang [DONE], ituring na hindi kumpleto ang sagot, i-record ang X-Request-ID header, at pagpasyahan kung ligtas ang bagong request. Ayon sa docs ng BroadNet, i-verify ang streaming sa model na gagamitin mo bago umasa rito sa production. Nasa streaming guide at errors and retries ang mga detalye.

Mga karaniwang pagkakamali

  • Pagturing sa nagsarang connection bilang tapos na sagot. [DONE] lang ang ibig sabihing kumpleto.
  • Paglalagay ng proxy na nagba-buffer sa harap ng client. Sabay-sabay tuloy na dumarating ang buong sagot.

Mga tanong

Pinabibilis ba ng streaming ang model?

Hindi. Pareho ang bilis ng pagbuo ng sagot. Mas maagang lumalabas ang unang mga salita sa streaming, kaya mas mabilis ang pakiramdam, at puwedeng kumilos ang code sa bahagyang output.

Paano ko makukuha ang token usage sa isang stream?

Sa format ng Chat Completions, magpadala ng stream_options na naka-set sa true ang include_usage. Ang huling chunk ang magdadala ng usage at ng walang lamang choices list.

Dalawang beses bang sinisingil ang na-retry na stream?

Sa isang per-token na key, kadalasan oo. Bagong inference ang retry, kaya sinisingil ulit. Sa flat plan na walang token meter, oras lang ang nagagastos.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity