---
title: "Streaming LLM lewat SSE: chunk, delta, usage, cancel"
description: "Cara kerja streaming chat completion, cara menyusun ulang jawaban dari delta, membaca usage dari chunk terakhir, dan membatalkan dengan rapi di Python, Node, curl."
url: https://broadrouter.com/id/blog/llm-streaming-sse-explained/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/llm-streaming-sse-explained/) (diperbarui 2026-11-16).

# Penjelasan streaming LLM: chunk SSE, delta, usage, dan pembatalan

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

API LLM melakukan streaming chat completion sebagai Server-Sent Events: setiap baris data berisi chunk JSON yang choices\[0\].delta-nya membawa potongan teks berikutnya. Gabungkan delta-delta itu, berhenti di data: \[DONE\], dan set stream\_options include\_usage untuk mendapat jumlah token di chunk terakhir dengan daftar choices kosong. Untuk membatalkan, tutup koneksinya.

## Poin penting

-   Stream adalah HTTP biasa: `Content-Type: text/event-stream`, satu baris `data:` per chunk, baris kosong di antara event, dan `data: [DONE]` di akhir.
-   Setiap chunk membawa `delta`, bukan pesan lengkap. Gabungkan string `delta.content` untuk menyusun ulang jawaban.
-   Usage nonaktif secara default di stream. `stream_options: {"include_usage": true}` menambahkan satu chunk terakhir berisi usage dan array `choices` kosong.
-   Lindungi setiap akses `choices[0]`: chunk usage tidak punya choices, dan parser yang menganggapnya ada akan crash.
-   Batalkan dengan menutup koneksi HTTP. Stream yang berakhir tanpa `[DONE]` adalah jawaban yang belum lengkap, bukan jawaban yang selesai.

**Di halaman ini**

1.  Seperti apa wujud stream SSE di jaringan?
2.  Apa isi sebuah chunk?
3.  Bagaimana mendapatkan usage token dari stream?
4.  Python: stream, kumpulkan usage, batalkan
5.  Node: stream dengan AbortController
6.  curl: lihat event mentahnya
7.  Bagaimana membatalkan stream, dan berapa biayanya?
8.  Lima bug streaming yang perlu dicek
9.  Posisi BroadNet Inference

Tanpa [streaming](https://broadrouter.com/id/glossary/streaming/), chat completion tidak mengembalikan apa pun sampai seluruh jawaban siap. Balasan 600 token pada kecepatan sekitar 100 token per detik berarti beberapa detik tanpa respons. Dengan streaming, kata-kata pertama muncul begitu model menuliskannya. Artikel ini membahas apa yang sebenarnya dikirim lewat jaringan, cara mem-parse-nya, cara mendapatkan usage [token](https://broadrouter.com/id/glossary/token/) dari stream, dan cara menghentikannya dengan rapi. Untuk aturan khusus BroadNet dalam bentuk ringkas, lihat [panduan referensi streaming](https://broadrouter.com/id/guides/streaming-chat-completions/).

## Seperti apa wujud stream SSE di jaringan?

Server-Sent Events adalah respons HTTP biasa dengan `Content-Type: text/event-stream`. Server menjaga koneksi tetap terbuka dan menuliskan event. Setiap event terdiri dari satu atau lebih baris `data:` yang diikuti baris kosong. API yang kompatibel dengan OpenAI menaruh satu chunk JSON di setiap event dan diakhiri dengan `[DONE]` literal:

```text
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]
```

Bentuk di atas hanya ilustrasi dan sudah dipangkas. Chunk sungguhan juga membawa `model` dan `created`, dan model penalaran bisa melaporkan token penalaran di usage.

## Apa isi sebuah chunk?

| Field | Di mana | Artinya |
| --- | --- | --- |
| `choices[0].delta.role` | Chunk pertama | Biasanya `assistant`. Dikirim sekali. |
| `choices[0].delta.content` | Sebagian besar chunk | Potongan teks berikutnya. Bisa kosong. |
| `choices[0].delta.tool_calls` | Tool call | Potongan nama fungsi dan argumen JSON, digabung berdasarkan `index`. |
| `choices[0].finish_reason` | Chunk konten terakhir | `stop`, `length`, atau `tool_calls`. `null` sampai saat itu. |
| `usage` | Chunk terakhir, jika diminta | Total untuk seluruh permintaan. `null` di tempat lain. |

Ide kuncinya adalah **delta, bukan snapshot**. Setiap chunk hanya berisi bagian yang baru. Anda menyusun ulang pesan dengan menggabungkan potongan-potongan itu secara berurutan. [Tool call](https://broadrouter.com/id/glossary/tool-calling/) di-stream dengan cara yang sama: argumennya datang sebagai potongan string yang belum menjadi JSON valid sampai potongan terakhir tiba, jadi parse hanya setelah `finish_reason` bernilai `tool_calls`.

## Bagaimana mendapatkan usage token dari stream?

Respons tanpa streaming selalu menyertakan `usage`. Stream tidak, kecuali Anda memintanya. Set `stream_options: {"include_usage": true}` dan server mengirim satu chunk tambahan sebelum `[DONE]`. Chunk itu berisi total dan **array `choices` kosong**. Di BroadNet Inference, usage juga bisa menyertakan `prompt_tokens_details.cached_tokens` dan `completion_tokens_details.reasoning_tokens` jika model melaporkannya, dan itulah yang Anda perlukan untuk [pencatatan biaya](https://broadrouter.com/id/blog/llm-api-usage-logging/).

Bug yang umum: kode yang membaca `chunk.choices[0]` di setiap chunk akan memunculkan index error pada chunk usage. Cek `choices` terlebih dahulu.

## Python: stream, kumpulkan usage, batalkan

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)
```

`break` saja hanya berhenti membaca, tetapi socket tetap terbuka sampai dibersihkan garbage collector. Tutup secara eksplisit agar server melihat koneksinya terputus.

## Node: stream dengan AbortController

```javascript
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}
```

[README openai-node](https://github.com/openai/openai-node) mendokumentasikan opsi `signal`, dan opsi ini tetap berfungsi saat body masih dibaca. Di web server, hubungkan `controller.abort()` ke event `close` milik request client agar pengguna yang meninggalkan halaman juga menghentikan proses generasi. Setup lebih lengkap ada di [panduan Node SDK](https://broadrouter.com/id/guides/openai-node-sdk/).

## curl: lihat event mentahnya

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
```

`-N` mematikan buffering output sehingga event tercetak begitu tiba. Tekan Ctrl+C untuk membatalkan; itu menutup koneksi. [API request builder](https://broadrouter.com/tools/api-request-builder/) membuat permintaan ini, beserta versi Python dan Node-nya, untuk model dan Base URL apa pun.

## Bagaimana membatalkan stream, dan berapa biayanya?

Pembatalan di SSE hanyalah menutup koneksi. Tidak ada pesan “stop”. Apa yang terjadi selanjutnya tergantung server: server yang berperilaku baik menyadari socket yang tertutup dan berhenti menghasilkan. Token yang dihasilkan sebelum saat itu adalah pekerjaan nyata. Referensi API BroadNet tidak mendokumentasikan penagihan untuk stream yang dibatalkan, jadi rencanakan dengan asumsi token yang dihasilkan sampai koneksi terputus tetap ditagih di [bayar sesuai pemakaian](https://broadrouter.com/id/glossary/pay-as-you-go/), dan periksa catatan usage Anda. Di paket harga tetap, stream yang dibatalkan tidak menambah biaya, tetapi sesi hanya bebas kembali setelah server berhenti.

## Lima bug streaming yang perlu dicek

1.  **Proxy yang melakukan buffering.** Nginx dan beberapa CDN mem-buffer respons, sehingga client menerima semuanya sekaligus. Matikan proxy buffering untuk route streaming.
2.  **Tidak mengecek `[DONE]`.** Koneksi yang terputus terlihat seperti jawaban pendek. Anggap `[DONE]` yang hilang sebagai tidak lengkap dan catat `X-Request-ID`, seperti dijelaskan di [panduan error](https://broadrouter.com/id/guides/errors-and-retries/).
3.  **Retry di tengah stream.** SDK tidak melakukan retry setelah body mulai datang. Retry adalah permintaan baru dan, di bayar sesuai pemakaian, tagihan baru.
4.  **Mengabaikan `finish_reason: length`.** Pada model penalaran seperti [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/), proses berpikir dihitung ke dalam [max\_tokens](https://broadrouter.com/id/glossary/max-tokens/), jadi batas yang kecil bisa menghentikan stream sebelum ada teks yang terlihat. [Berapa biaya token penalaran](https://broadrouter.com/id/blog/reasoning-tokens-cost/).
5.  **Salah memecah baris.** Jika Anda mem-parse SSE secara manual, buffer byte sampai Anda melihat baris kosong. Satu pembacaan TCP bisa berakhir di tengah chunk JSON.

## Posisi BroadNet Inference

BroadNet Inference memakai bentuk streaming standar yang [kompatibel dengan OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/), sehingga SDK Python dan Node mem-parse-nya tanpa perubahan. Usage di chunk terakhir menyertakan token cache dan token penalaran jika model melaporkannya. Dokumentasinya menyebut streaming tetap perlu diverifikasi per model sebelum dipakai di produksi, jadi jalankan kode di atas dengan model persis yang akan Anda rilis. Jika yang paling Anda pedulikan adalah seberapa cepat token pertama tiba, baca [TTFT vs throughput](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) berikutnya. Jika Anda butuh suara realtime lewat WebSocket, API ini tidak dibuat untuk itu; yang tersedia adalah chat completions dan transkripsi file.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/)

Server-sent events (SSE) adalah standar web yang memungkinkan server mengirim aliran event teks ke client melalui satu respons HTTP yang tetap terbuka lama, dengan content type text/event-stream. Setiap event terdiri dari satu atau beberapa baris field, seperti data:, dan diakhiri baris kosong.

[Token penalaran (reasoning tokens)](https://broadrouter.com/id/glossary/reasoning-tokens/)

Token penalaran adalah token yang dihasilkan model penalaran untuk mengerjakan suatu masalah sebelum menulis jawaban yang terlihat. Token ini biasanya ditagih sebagai token output, dihitung dalam batas output dan context window, dan bisa disembunyikan atau diringkas oleh API.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

## Pertanyaan umum

### Apa bedanya SSE dan WebSocket untuk streaming LLM?

SSE bersifat satu arah, dari server ke client, lewat respons HTTP biasa. Itu saja yang dibutuhkan chat completion, jadi API yang kompatibel dengan OpenAI memakai SSE. WebSocket bersifat dua arah dan butuh protocol upgrade; dipakai untuk suara realtime, bukan untuk chat completion.

### Kenapa usage bernilai null di chunk streaming saya?

Usage hanya dikirim jika Anda memintanya. Tambahkan stream\_options dengan include\_usage bernilai true. Setelah itu, setiap chunk kecuali yang terakhir punya usage null, dan chunk terakhir membawa totalnya dengan daftar choices kosong.

### Apakah saya tetap ditagih jika membatalkan stream?

Tiap penyedia berbeda dan banyak yang tidak mendokumentasikannya. Anggap token yang dihasilkan sebelum server menyadari koneksi ditutup tetap ditagih. Catat X-Request-ID di log dan bandingkan dengan catatan usage Anda.

### Bagaimana saya tahu stream selesai dengan normal?

Anda menerima data: \[DONE\] dan chunk konten terakhir punya finish\_reason seperti stop. finish\_reason length berarti max\_tokens memotong jawabannya. Tidak ada \[DONE\] berarti koneksinya terputus.

### Apakah streaming membuat model lebih cepat?

Tidak. Total waktu generasinya sama. Streaming mempersingkat waktu sampai pengguna melihat kata-kata pertama, dan itulah yang membuat antarmuka chat terasa cepat.

## Baca juga

-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/)
-   [Logging pemakaian API LLM: biaya per pengguna dan fitur, tanpa PII](https://broadrouter.com/id/blog/llm-api-usage-logging/)
-   [Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Panduan: Memakai OpenAI Node.js SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-node-sdk/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-streaming-sse-explained&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, streaming dan usage (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-streaming-sse-explained&utm_content=sources#requests)
-   [MDN, Menggunakan server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [Pengumuman komunitas OpenAI, statistik usage saat streaming (stream\_options)](https://community.openai.com/t/usage-stats-now-available-when-using-streaming-with-the-chat-completions-api-or-completions-api/738156)
-   [README openai-python, respons streaming dan retry (diakses 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, pembatalan dengan AbortSignal (diakses 2026-11-14)](https://github.com/openai/openai-node)
