---
title: "Ano ang streaming sa LLM API? Server-sent events | BroadRouter"
description: "Ibinabalik ng streaming ang sagot ng LLM nang paunti-unti habang binubuo. Paano gumagana ang SSE at [DONE], paano kunin ang usage, at ano ang gagawin kapag naputol."
url: https://broadrouter.com/fil/glossary/streaming/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/streaming/) (na-update noong 2026-11-14).

# Streaming

Na-update 2026-11-14

Ang streaming ay paraan ng pagbabalik ng sagot ng language model nang paunti-unting chunk habang binubuo pa ito, sa halip na iisang sagot sa dulo. Sa mga OpenAI-compatible na API, dumadaan ang streaming sa server-sent events kapag naka-set sa true ang stream sa request.

Tinatawag ding: LLM streaming, pag-stream ng sagot, streaming responses, stream=true, token streaming

Kung walang streaming, naghihintay ang client hanggang matapos ang buong sagot. Kapag may streaming, lumalabas ang text habang isinusulat ito ng model.

## Paano ito gumagana

Gumagamit ang streaming ng [server-sent events (SSE)](https://broadrouter.com/fil/glossary/sse/). Sumasagot ang server gamit ang content type na `text/event-stream` at pinananatiling bukas ang connection. Inilalarawan ng MDN ang format: mga linyang `field: value`, at ang mga mensahe ay “separated by a pair of newline characters.” (Salin ng BroadRouter: “pinaghihiwalay ng dalawang newline character.”)

Sa format ng Chat Completions, may dalang chunk ang bawat event na may maliit na `delta`. Sa example sa ibaba, dumarating ang “Hel” at “lo” sa magkahiwalay na chunk, saka ang usage chunk, at panghuli ang `[DONE]`:

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

Pinagdurugtong ng client ang mga delta. Ang mismong linyang `data: [DONE]` ang hudyat ng dulo. Lumalabas lang ang usage chunk kung hiningi ito ng request gamit ang `stream_options: {"include_usage": true}`.

## Bakit ito mahalaga

-   **Pakiramdam ng bilis.** Nakikita ng user ang unang mga salita pagkatapos ng [time to first token](https://broadrouter.com/fil/glossary/time-to-first-token/), hindi pagkatapos ng buong sagot. Pagkatapos noon, dumadaloy ang text ayon sa [tokens per second](https://broadrouter.com/fil/glossary/tokens-per-second/) ng model.
-   **Mahahabang output.** Pinananatiling aktibo ng streaming ang connection, na nakakatulong sa mga proxy na nagsasara ng idle na request.
-   **Maagang aksyon.** Puwede nang magsimulang mag-parse o mag-render ang mga agent at UI bago pa matapos.

May kapalit ito. Ayon sa OpenAI, pinahihirap ng streaming ang moderation, dahil “partial completions may be more difficult to evaluate.” (Salin ng BroadRouter: “maaaring mas mahirap suriin ang mga bahagyang completion.”) Puwede ring maputol ang stream sa gitna, at hawak ng isang naka-stream na sagot ang isang [concurrency](https://broadrouter.com/fil/glossary/concurrency/) slot hanggang matapos ito.

## Sa BroadNet Inference

Ginagamit ng BroadNet ang karaniwang streaming format ng chat completions sa `https://inference.broadnet.ai/v1/chat/completions`, kaya ang [Python](https://broadrouter.com/fil/guides/openai-python-sdk/) at [Node](https://broadrouter.com/fil/guides/openai-node-sdk/) SDK na ang nagpa-parse nito para sa iyo. Sa curl, idagdag ang `-N` para patayin ang buffering:

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

Puwedeng iulat ng mga reasoning model ang `reasoning_tokens` at `cached_tokens` sa huling usage chunk. Kung nagsara ang connection bago ang `[DONE]`, ituring na hindi kumpleto ang sagot, i-record ang `X-Request-ID` header, at pagpasyahan kung ligtas ang bagong request. Ayon sa docs ng BroadNet, i-verify ang streaming sa model na gagamitin mo bago umasa rito sa production. Nasa [streaming guide](https://broadrouter.com/fil/guides/streaming-chat-completions/) at [errors and retries](https://broadrouter.com/fil/guides/errors-and-retries/) ang mga detalye.

## Mga karaniwang pagkakamali

-   Pagturing sa nagsarang connection bilang tapos na sagot. `[DONE]` lang ang ibig sabihing kumpleto.
-   Paglalagay ng proxy na nagba-buffer sa harap ng client. Sabay-sabay tuloy na dumarating ang buong sagot.

## Mga tanong

### Pinabibilis ba ng streaming ang model?

Hindi. Pareho ang bilis ng pagbuo ng sagot. Mas maagang lumalabas ang unang mga salita sa streaming, kaya mas mabilis ang pakiramdam, at puwedeng kumilos ang code sa bahagyang output.

### Paano ko makukuha ang token usage sa isang stream?

Sa format ng Chat Completions, magpadala ng stream\_options na naka-set sa true ang include\_usage. Ang huling chunk ang magdadala ng usage at ng walang lamang choices list.

### Dalawang beses bang sinisingil ang na-retry na stream?

Sa isang per-token na key, kadalasan oo. Bagong inference ang retry, kaya sinisingil ulit. Sa flat plan na walang token meter, oras lang ang nagagastos.

## Tingnan din

-   [Tokens per second (TPS)](https://broadrouter.com/fil/glossary/tokens-per-second/) (termino)
-   [Concurrency](https://broadrouter.com/fil/glossary/concurrency/) (termino)
-   [OpenAI-compatible API](https://broadrouter.com/fil/glossary/openai-compatible-api/) (termino)
-   [Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/) (termino)
-   [Server-sent events (SSE)](https://broadrouter.com/fil/glossary/sse/) (termino)
-   [Time to first token (TTFT)](https://broadrouter.com/fil/glossary/time-to-first-token/) (termino)
-   [Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/) (gabay)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Paano gamitin ang OpenAI Node.js SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-node-sdk/) (gabay)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/) (gabay)
-   [Paglipat sa OpenAI-compatible API: checklist sa migration](https://broadrouter.com/fil/blog/openai-compatible-api-migration-checklist/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-streaming&utm_content=page-cta) ·

**Mga source**

-   [MDN, using server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, streaming API responses](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [API reference ng BroadNet Inference, streaming (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-streaming&utm_content=sources#requests)
