BroadRouter

Paano mag-stream ng chat completions at ayusin ang naputol na stream

Na-update

I-set ang stream sa true sa /v1/chat/completions at basahin ang Server-Sent Events hanggang sa mismong data: [DONE] marker. Idagdag ang stream_options include_usage para makuha ang bilang ng token sa huling chunk. Kung naputol ang connection bago ang [DONE], ituring na hindi kumpleto ang sagot at i-log ang X-Request-ID.

Sa streaming, naipapakita ng agent o ng chat interface ang sagot habang binubuo ito. Ginagamit ng BroadNet Inference ang standard na streaming format ng chat completions, kaya ang OpenAI Python SDK at ang OpenAI Node SDK na ang bahala sa pag-parse.

Gamit ang curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Ini-o-off ng -N ang buffering ng curl, at sine-save ng -D ang mga header, kasama ang X-Request-ID.

Ano ang itsura ng stream?

Isang Server-Sent Events stream ang response. Ayon sa WHATWG HTML standard, ang bawat event ay isa o higit pang data: na linya na sinusundan ng blangkong linya, at ang linyang nagsisimula sa colon ay comment na puwede mong balewalain. May isang JSON chunk ang bawat data: na linya, at dumarating ang text sa choices[0].delta.content.

Ang mga patakaran

  1. Basahin ang mga event hanggang sa mismong linyang data: [DONE], saka isara ang reader.
  2. Kapag may stream_options: {"include_usage": true}, may isang dagdag na chunk na darating bago mismo ang [DONE]. Dala nito ang usage para sa buong request at walang laman na choices list, kaya suriin muna ang choices bago mag-index dito.
  3. Kapag iniuulat ito ng model, kasama sa usage na iyon ang completion_tokens_details.reasoning_tokens (nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B) at ang prompt_tokens_details.cached_tokens. Sinisingil ang mga cached token sa mas mababang presyo ng cached input.

Gamit ang Python SDK

Sa dulo ng code sa ibaba, kapag None pa rin ang usage, natapos ang stream bago dumating ang usage chunk:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

Ang SDK na ang nagbabasa hanggang [DONE] para sa iyo. Ipinapakita ng gabay sa OpenAI Node SDK ang parehong loop sa JavaScript.

Kapag maagang natapos ang stream

Kung nagsara ang connection bago ang [DONE], hindi kumpleto ang sagot. Ang payo ng BroadNet:

  • itala ang X-Request-ID;
  • pagpasyahan kung ligtas para sa application mo na gumawa ng bagong request. Bagong inference ang retry, at sinisingil ulit ito sa pay-as-you-go.

Para sa mga agent sa unlimited plan, walang dagdag na bayad ang retries, pero ginagamit pa rin nila ang session habang tumatakbo.

Ayon sa docs ng BroadNet, kailangan pa rin ng release verification kada model bago ka umasa sa streaming sa production, kaya subukan ito sa model na ilalabas mo.

Troubleshooting

  • Lahat ay lumalabas sa dulo. Kailangan ng curl ang -N. Kung nasa likod ka ng sarili mong proxy, i-off ang response buffering para sa text/event-stream.
  • IndexError o undefined sa huling chunk. Walang laman ang choices list ng usage chunk. Suriin ang chunk.choices bago basahin ang [0].
  • Walang usage talaga. Hindi mo ipinadala ang stream_options, o naputol ang stream bago ang huling chunk.
  • Huminto ang stream na length ang finish_reason at kaunti lang ang text. Ginamit ng reasoning model ang max_tokens sa reasoning. Tingnan kung bakit walang laman ang sagot ng mga reasoning model.
  • 429 habang nagi-stream nang sabay-sabay. Binibilang na request na tumatakbo ang bawat bukas na stream; 4 ang pinapayagan ng isang pay-as-you-go key. Tingnan ang error codes at retries ng BroadNet.

Mga tanong

Paano ko makukuha ang token usage kapag nagi-stream ng chat completions?

Ipadala ang stream_options na naka-true ang include_usage. May isang dagdag na chunk na darating bago mismo ang data: [DONE], na may laman na usage at walang laman na choices array. Kung naputol muna ang stream, hindi na darating ang chunk na iyon.

Bakit sabay-sabay na lumalabas sa curl ang buong streamed na sagot?

Nagba-buffer ng output ang curl bilang default. Idagdag ang -N flag (walang buffering) para lumabas ang bawat Server-Sent Event pagdating nito.

Dalawang beses bang sinisingil ang ni-retry na stream?

Sa pay-as-you-go, oo. Bagong inference request ang retry. Sa unlimited na DeepSeek V4.1 Flash plan, walang token meter, pero ginagamit pa rin ng retry ang session habang tumatakbo ito.

Mas mahal ba ang streaming kaysa sa normal na request?

Hindi. Binabago ng streaming kung paano ihinahatid ang sagot, hindi kung paano ito sinisingil. Sa pay-as-you-go, pareho ang presyo kada input at output token na babayaran mo gaya ng sa request na walang streaming.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity