---
title: "Streaming respons LLM lewat SSE, dengan usage dan retry"
description: "Cara kerja streaming di BroadNet Inference: Server-Sent Events, penanda [DONE], usage token di chunk terakhir, dan langkah jika stream berhenti lebih awal."
url: https://broadrouter.com/id/guides/streaming-chat-completions/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/streaming-chat-completions/) (diperbarui 2026-11-15).

# Streaming chat completions dan menangani koneksi terputus

Diperbarui 2026-11-15

Atur stream ke true di /v1/chat/completions dan baca Server-Sent Events sampai penanda literal data: \[DONE\]. Tambahkan stream\_options include\_usage untuk mendapatkan jumlah token di chunk terakhir. Jika koneksi berakhir sebelum \[DONE\], anggap jawabannya tidak lengkap dan catat X-Request-ID.

Streaming memungkinkan agen atau antarmuka chat menampilkan jawaban saat jawaban itu dihasilkan. BroadNet Inference memakai format streaming chat completions standar, jadi [OpenAI Python SDK](https://broadrouter.com/id/guides/openai-python-sdk/) dan [OpenAI Node SDK](https://broadrouter.com/id/guides/openai-node-sdk/) menangani parsing-nya untuk Anda.

## Dengan curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` mematikan buffering curl, dan `-D` menyimpan header, termasuk `X-Request-ID`.

## Seperti apa bentuk stream-nya?

Responsnya berupa stream [Server-Sent Events](https://broadrouter.com/id/glossary/sse/). Menurut standar HTML WHATWG, setiap event terdiri dari satu atau lebih baris `data:` yang diikuti baris kosong, dan baris yang diawali titik dua adalah komentar yang bisa Anda abaikan. Setiap baris `data:` berisi satu chunk JSON, dan teksnya tiba di `choices[0].delta.content`.

## Aturannya

1.  Baca event sampai baris literal `data: [DONE]`, lalu tutup reader.
2.  Dengan `stream_options: {"include_usage": true}`, satu chunk tambahan tiba tepat sebelum `[DONE]`. Chunk ini membawa `usage` untuk seluruh permintaan dan list `choices` yang kosong, jadi periksa `choices` sebelum mengakses indeksnya.
3.  Jika model melaporkannya, usage tersebut mencakup `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar terlebih dahulu) dan `prompt_tokens_details.cached_tokens`. Token cache ditagih dengan harga input cache yang lebih rendah.

## Dengan Python SDK

Pada baris terakhir kode, `usage` yang tetap bernilai `None` berarti stream berakhir sebelum chunk usage tiba.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK membaca sampai `[DONE]` untuk Anda. [Panduan OpenAI Node SDK](https://broadrouter.com/id/guides/openai-node-sdk/) menunjukkan loop yang sama dalam JavaScript.

## Jika stream berhenti lebih awal

Jika koneksi tertutup sebelum `[DONE]`, jawabannya tidak lengkap. Panduan BroadNet:

-   catat `X-Request-ID`;
-   putuskan apakah aplikasi Anda aman untuk membuat permintaan **baru**. Percobaan ulang adalah inferensi baru dan ditagih lagi pada skema bayar sesuai pemakaian.

Untuk agen di [paket unlimited](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/), percobaan ulang tidak menambah biaya, tetapi tetap memakai sesi selama berjalan.

Dokumentasi BroadNet menyebutkan bahwa verifikasi rilis per model masih diperlukan sebelum Anda mengandalkan streaming di produksi, jadi uji streaming pada model yang akan Anda pakai.

## Pemecahan masalah

-   **Semuanya baru tercetak di akhir.** curl perlu `-N`. Jika berada di belakang proxy Anda sendiri, matikan buffering respons untuk `text/event-stream`.
-   **`IndexError` atau `undefined` pada chunk terakhir.** Chunk usage memiliki list `choices` yang kosong. Periksa `chunk.choices` sebelum membaca `[0]`.
-   **Tidak ada usage sama sekali.** Anda tidak mengirim `stream_options`, atau stream terputus sebelum chunk terakhir.
-   **Stream berhenti dengan `finish_reason` `length` dan teks yang sedikit.** Model penalaran menghabiskan `max_tokens` untuk bernalar. Lihat [kenapa model penalaran mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **429 saat streaming paralel.** Setiap stream yang terbuka dihitung sebagai permintaan yang sedang berjalan; kunci bayar sesuai pemakaian mengizinkan 4. Lihat [kode error BroadNet dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/)

Server-sent events (SSE) adalah standar web yang memungkinkan server mengirim aliran event teks ke client melalui satu respons HTTP yang tetap terbuka lama, dengan content type text/event-stream. Setiap event terdiri dari satu atau beberapa baris field, seperti data:, dan diakhiri baris kosong.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

## Pertanyaan umum

### Bagaimana cara mendapatkan penggunaan token saat streaming chat completions?

Kirim stream\_options dengan include\_usage bernilai true. Satu chunk tambahan tiba tepat sebelum data: \[DONE\], dengan usage terisi dan array choices kosong. Jika stream terputus lebih dulu, chunk itu tidak pernah tiba.

### Kenapa curl mencetak seluruh jawaban streaming sekaligus?

curl mem-buffer output-nya secara default. Tambahkan flag -N (tanpa buffering) agar setiap Server-Sent Event langsung dicetak saat tiba.

### Apakah stream yang dicoba ulang ditagih dua kali?

Pada skema bayar sesuai pemakaian, ya. Percobaan ulang adalah permintaan inferensi baru. Pada paket unlimited DeepSeek V4.1 Flash tidak ada meteran token, tetapi percobaan ulang tetap memakai sesi selama berjalan.

### Apakah streaming lebih mahal daripada permintaan biasa?

Tidak. Streaming mengubah cara jawaban dikirim, bukan cara penagihannya. Pada skema bayar sesuai pemakaian, Anda membayar harga input dan output per token yang sama seperti permintaan tanpa streaming.

## Panduan terkait

-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-streaming-chat-completions&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, streaming (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, server-sent events (diperiksa 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, docstring stream\_options include\_usage (diperiksa 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
