---
title: "Apa itu streaming di API LLM? Server-sent events | BroadRouter"
description: "Streaming mengembalikan balasan LLM sepotong demi sepotong selagi dihasilkan. Cara kerja SSE dan [DONE], cara mendapat usage, dan langkah jika stream putus."
url: https://broadrouter.com/id/glossary/streaming/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/streaming/) (diperbarui 2026-11-14).

# Streaming (respons streaming)

Diperbarui 2026-11-14

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

Disebut juga: streaming, streaming LLM, respons streaming, streaming token, stream=true, streaming responses, token streaming

Tanpa streaming, client menunggu sampai seluruh jawaban selesai. Dengan streaming, teks muncul selagi model menulisnya.

## Cara kerjanya

Streaming memakai [server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/). Server menjawab dengan content type `text/event-stream` dan menjaga koneksi tetap terbuka. MDN menjelaskan formatnya: baris-baris `field: value`, dengan pesan yang “separated by a pair of newline characters” (terjemahan: dipisahkan oleh sepasang karakter baris baru).

Dalam format Chat Completions, setiap event membawa chunk berisi `delta` kecil:

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

Client menggabungkan delta-delta itu. Baris `data: [DONE]` menandai akhir stream. Chunk usage hanya muncul jika permintaan memintanya dengan `stream_options: {"include_usage": true}`.

## Kenapa ini penting

-   **Kecepatan yang dirasakan.** Pengguna melihat kata-kata pertama setelah [time to first token](https://broadrouter.com/id/glossary/time-to-first-token/), bukan setelah seluruh balasan selesai. Setelah itu, teks mengalir sesuai [token per detik](https://broadrouter.com/id/glossary/tokens-per-second/) model.
-   **Output panjang.** Streaming menjaga koneksi tetap aktif, yang membantu jika ada proxy yang menutup permintaan yang menganggur.
-   **Tindakan lebih awal.** Agen dan UI bisa mulai mem-parse atau merender sebelum balasan selesai.

Ada biayanya juga. OpenAI mencatat bahwa streaming mempersulit moderasi, karena “partial completions may be more difficult to evaluate” (terjemahan: completion parsial mungkin lebih sulit dievaluasi). Stream juga bisa putus di tengah jalan, dan balasan yang di-stream menempati satu slot [konkurensi](https://broadrouter.com/id/glossary/concurrency/) sampai selesai.

## Di BroadNet Inference

BroadNet memakai format streaming chat completions standar di `https://inference.broadnet.ai/v1/chat/completions`, jadi SDK [Python](https://broadrouter.com/id/guides/openai-python-sdk/) dan [Node](https://broadrouter.com/id/guides/openai-node-sdk/) mem-parse-nya untuk Anda. Dengan curl, tambahkan `-N` untuk mematikan buffering:

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

Model penalaran bisa melaporkan `reasoning_tokens` dan `cached_tokens` di chunk usage terakhir. Jika koneksi tertutup sebelum `[DONE]`, anggap jawabannya tidak lengkap, catat header `X-Request-ID`, lalu putuskan apakah permintaan baru aman dikirim. Dokumentasi BroadNet meminta Anda memverifikasi streaming di model yang akan Anda rilis sebelum mengandalkannya di produksi. Detailnya ada di [panduan streaming](https://broadrouter.com/id/guides/streaming-chat-completions/) dan [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Kesalahan umum

-   Menganggap koneksi yang tertutup sebagai jawaban yang selesai. Hanya `[DONE]` yang berarti lengkap.
-   Memasang proxy yang mem-buffer di depan client. Balasan lalu tiba sekaligus.

## Pertanyaan umum

### Apakah streaming membuat model lebih cepat?

Tidak. Kecepatan generasinya sama. Streaming menampilkan kata-kata pertama lebih cepat, sehingga balasan terasa lebih cepat, dan memungkinkan kode memproses output parsial.

### Bagaimana cara mendapatkan usage token dalam stream?

Dalam format Chat Completions, kirim stream\_options dengan include\_usage bernilai true. Chunk terakhir lalu membawa usage dan daftar choices yang kosong.

### Apakah stream yang dicoba ulang ditagih dua kali?

Pada kunci yang ditagih per token, biasanya ya. Percobaan ulang adalah inferensi baru, jadi ditagih lagi. Pada paket harga tetap tanpa meteran token, percobaan ulang hanya memakan waktu.

## Lihat juga

-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/) (istilah)
-   [Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) (istilah)
-   [Server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/) (istilah)
-   [Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/) (istilah)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Memakai OpenAI Node.js SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-node-sdk/) (panduan)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Pindah ke API kompatibel OpenAI: checklist migrasi](https://broadrouter.com/id/blog/openai-compatible-api-migration-checklist/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-streaming&utm_content=page-cta) ·

**Sumber**

-   [MDN, menggunakan server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, streaming respons API](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [Referensi API BroadNet Inference, streaming (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-streaming&utm_content=sources#requests)
