---
title: "Streaming ng LLM response sa SSE: usage at retries | BroadRouter"
description: "Streaming sa BroadNet Inference: Server-Sent Events, ang [DONE] marker, token usage sa huling chunk, at ano ang gagawin kapag maagang natapos ang stream."
url: https://broadrouter.com/fil/guides/streaming-chat-completions/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/guides/streaming-chat-completions/) (na-update noong 2026-11-15).

# Paano mag-stream ng chat completions at ayusin ang naputol na stream

Na-update 2026-11-15

I-set ang stream sa true sa /v1/chat/completions at basahin ang Server-Sent Events hanggang sa mismong data: \[DONE\] marker. Idagdag ang stream\_options include\_usage para makuha ang bilang ng token sa huling chunk. Kung naputol ang connection bago ang \[DONE\], ituring na hindi kumpleto ang sagot at i-log ang X-Request-ID.

Sa streaming, naipapakita ng agent o ng chat interface ang sagot habang binubuo ito. Ginagamit ng BroadNet Inference ang standard na streaming format ng chat completions, kaya ang [OpenAI Python SDK](https://broadrouter.com/fil/guides/openai-python-sdk/) at ang [OpenAI Node SDK](https://broadrouter.com/fil/guides/openai-node-sdk/) na ang bahala sa pag-parse.

## Gamit ang curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

Ini-o-off ng `-N` ang buffering ng curl, at sine-save ng `-D` ang mga header, kasama ang `X-Request-ID`.

## Ano ang itsura ng stream?

Isang [Server-Sent Events](https://broadrouter.com/fil/glossary/sse/) stream ang response. Ayon sa WHATWG HTML standard, ang bawat event ay isa o higit pang `data:` na linya na sinusundan ng blangkong linya, at ang linyang nagsisimula sa colon ay comment na puwede mong balewalain. May isang JSON chunk ang bawat `data:` na linya, at dumarating ang text sa `choices[0].delta.content`.

## Ang mga patakaran

1.  Basahin ang mga event hanggang sa mismong linyang `data: [DONE]`, saka isara ang reader.
2.  Kapag may `stream_options: {"include_usage": true}`, may isang dagdag na chunk na darating bago mismo ang `[DONE]`. Dala nito ang `usage` para sa buong request at walang laman na `choices` list, kaya suriin muna ang `choices` bago mag-index dito.
3.  Kapag iniuulat ito ng model, kasama sa usage na iyon ang `completion_tokens_details.reasoning_tokens` (nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B) at ang `prompt_tokens_details.cached_tokens`. Sinisingil ang mga cached token sa mas mababang presyo ng cached input.

## Gamit ang Python SDK

Sa dulo ng code sa ibaba, kapag `None` pa rin ang `usage`, natapos ang stream bago dumating ang usage chunk:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

Ang SDK na ang nagbabasa hanggang `[DONE]` para sa iyo. Ipinapakita ng [gabay sa OpenAI Node SDK](https://broadrouter.com/fil/guides/openai-node-sdk/) ang parehong loop sa JavaScript.

## Kapag maagang natapos ang stream

Kung nagsara ang connection bago ang `[DONE]`, hindi kumpleto ang sagot. Ang payo ng BroadNet:

-   itala ang `X-Request-ID`;
-   pagpasyahan kung ligtas para sa application mo na gumawa ng **bagong** request. Bagong inference ang retry, at sinisingil ulit ito sa pay-as-you-go.

Para sa mga agent sa [unlimited plan](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/), walang dagdag na bayad ang retries, pero ginagamit pa rin nila ang session habang tumatakbo.

Ayon sa docs ng BroadNet, kailangan pa rin ng release verification kada model bago ka umasa sa streaming sa production, kaya subukan ito sa model na ilalabas mo.

## Troubleshooting

-   **Lahat ay lumalabas sa dulo.** Kailangan ng curl ang `-N`. Kung nasa likod ka ng sarili mong proxy, i-off ang response buffering para sa `text/event-stream`.
-   **`IndexError` o `undefined` sa huling chunk.** Walang laman ang `choices` list ng usage chunk. Suriin ang `chunk.choices` bago basahin ang `[0]`.
-   **Walang usage talaga.** Hindi mo ipinadala ang `stream_options`, o naputol ang stream bago ang huling chunk.
-   **Huminto ang stream na `length` ang `finish_reason` at kaunti lang ang text.** Ginamit ng reasoning model ang `max_tokens` sa reasoning. Tingnan kung [bakit walang laman ang sagot ng mga reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).
-   **429 habang nagi-stream nang sabay-sabay.** Binibilang na request na tumatakbo ang bawat bukas na stream; 4 ang pinapayagan ng isang pay-as-you-go key. Tingnan ang [error codes at retries ng BroadNet](https://broadrouter.com/fil/guides/errors-and-retries/).

## Mga termino sa gabay na ito

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Streaming](https://broadrouter.com/fil/glossary/streaming/)

Ang streaming ay paraan ng pagbabalik ng sagot ng language model nang paunti-unting chunk habang binubuo pa ito, sa halip na iisang sagot sa dulo. Sa mga OpenAI-compatible na API, dumadaan ang streaming sa server-sent events kapag naka-set sa true ang stream sa request.

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[Cached input token (cached input tokens)](https://broadrouter.com/fil/glossary/cached-input-tokens/)

Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.

[Server-sent events (SSE)](https://broadrouter.com/fil/glossary/sse/)

Ang server-sent events (SSE) ay web standard kung saan nagpapadala ang server ng tuloy-tuloy na text event sa client sa iisang matagal na HTTP response na may content type na text/event-stream. Ang bawat event ay isa o higit pang field line, gaya ng data:, na tinatapos ng blank line.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Chat Completions API](https://broadrouter.com/fil/glossary/chat-completions-api/)

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

## Mga tanong

### Paano ko makukuha ang token usage kapag nagi-stream ng chat completions?

Ipadala ang stream\_options na naka-true ang include\_usage. May isang dagdag na chunk na darating bago mismo ang data: \[DONE\], na may laman na usage at walang laman na choices array. Kung naputol muna ang stream, hindi na darating ang chunk na iyon.

### Bakit sabay-sabay na lumalabas sa curl ang buong streamed na sagot?

Nagba-buffer ng output ang curl bilang default. Idagdag ang -N flag (walang buffering) para lumabas ang bawat Server-Sent Event pagdating nito.

### Dalawang beses bang sinisingil ang ni-retry na stream?

Sa pay-as-you-go, oo. Bagong inference request ang retry. Sa unlimited na DeepSeek V4.1 Flash plan, walang token meter, pero ginagamit pa rin ng retry ang session habang tumatakbo ito.

### Mas mahal ba ang streaming kaysa sa normal na request?

Hindi. Binabago ng streaming kung paano ihinahatid ang sagot, hindi kung paano ito sinisingil. Sa pay-as-you-go, pareho ang presyo kada input at output token na babayaran mo gaya ng sa request na walang streaming.

## Mga kaugnay na gabay

-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-streaming-chat-completions&utm_content=page-cta) ·

**Mga source**

-   [API reference ng BroadNet Inference, streaming (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, server-sent events (sinuri noong 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, docstring ng stream\_options include\_usage (sinuri noong 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
