---
title: "Apakah itu penstriman dalam API LLM? Server-sent events"
description: "Penstriman memulangkan jawapan LLM dalam cebisan semasa ia dijana. Cara SSE dan [DONE] berfungsi, cara mendapat usage dan apa perlu dibuat jika strim terputus."
url: https://broadrouter.com/ms/glossary/streaming/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/streaming/) (dikemas kini 2026-11-14).

# Penstriman (streaming)

Dikemas kini 2026-11-14

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

Juga dikenali sebagai: streaming, strim, penstriman LLM, strim respons, streaming responses, stream=true, token streaming

Tanpa penstriman, klien menunggu sehingga keseluruhan jawapan siap. Dengan penstriman, teks muncul semasa model menulisnya.

## Cara ia berfungsi

Penstriman menggunakan [server-sent events (SSE)](https://broadrouter.com/ms/glossary/sse/). Pelayan menjawab dengan jenis kandungan `text/event-stream` dan membiarkan sambungan terbuka. MDN menerangkan formatnya: baris `field: value`, dengan mesej “separated by a pair of newline characters.” (Terjemahan BroadRouter: “dipisahkan oleh sepasang aksara baris baharu.”)

Dalam format Chat Completions, setiap event membawa satu chunk dengan `delta` yang kecil. Dalam contoh di bawah, “Hel” dan “lo” tiba dalam chunk berasingan, diikuti chunk usage, dan akhirnya `[DONE]`:

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

Klien menyambungkan delta tersebut. Baris `data: [DONE]` itu sendiri menandakan penghujung. Chunk usage hanya muncul jika permintaan memintanya dengan `stream_options: {"include_usage": true}`.

## Mengapa ia penting

-   **Kelajuan yang dirasai.** Pengguna melihat perkataan pertama selepas [masa ke token pertama](https://broadrouter.com/ms/glossary/time-to-first-token/), bukan selepas keseluruhan jawapan. Selepas itu, teks mengalir mengikut [token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/) model.
-   **Output panjang.** Penstriman memastikan sambungan kekal aktif, yang membantu dengan proksi yang menutup permintaan yang terbiar.
-   **Tindakan awal.** Ejen dan UI boleh mula menghurai atau memaparkan sebelum penghujung.

Ada kosnya. OpenAI menyatakan penstriman menyukarkan moderasi, kerana “partial completions may be more difficult to evaluate.” (Terjemahan BroadRouter: “completion separa mungkin lebih sukar dinilai.”) Strim juga boleh terputus di tengah jalan, dan jawapan yang distrim memegang satu slot [keserentakan](https://broadrouter.com/ms/glossary/concurrency/) sehingga ia tamat.

## Di BroadNet Inference

BroadNet menggunakan bentuk penstriman chat completions yang standard pada `https://inference.broadnet.ai/v1/chat/completions`, jadi SDK [Python](https://broadrouter.com/ms/guides/openai-python-sdk/) dan [Node](https://broadrouter.com/ms/guides/openai-node-sdk/) menghuraikannya untuk anda. Dengan curl, tambah `-N` untuk mematikan penimbalan:

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

Model penaakulan boleh melaporkan `reasoning_tokens` dan `cached_tokens` dalam chunk usage terakhir. Jika sambungan ditutup sebelum `[DONE]`, anggap jawapan itu tidak lengkap, rekodkan header `X-Request-ID`, dan putuskan sama ada permintaan baharu selamat dibuat. Dokumentasi BroadNet menyarankan anda mengesahkan penstriman pada model yang akan anda gunakan sebelum bergantung padanya dalam produksi. Butirannya ada dalam [panduan penstriman](https://broadrouter.com/ms/guides/streaming-chat-completions/) dan [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

## Kesilapan biasa

-   Menganggap sambungan yang ditutup sebagai jawapan yang selesai. Hanya `[DONE]` bermaksud lengkap.
-   Meletakkan proksi yang menimbal di hadapan klien. Jawapan kemudian tiba sekali gus.

## Soalan lazim

### Adakah penstriman menjadikan model lebih pantas?

Tidak. Kelajuan penjanaan tetap sama. Penstriman memaparkan perkataan pertama lebih awal, jadi jawapan terasa lebih pantas, dan membolehkan kod bertindak pada output separa.

### Bagaimanakah saya mendapatkan penggunaan token dalam strim?

Dalam format Chat Completions, hantar stream\_options dengan include\_usage ditetapkan kepada true. Chunk terakhir kemudian membawa usage dan senarai choices yang kosong.

### Adakah strim yang dicuba semula dibilkan dua kali?

Pada kunci setiap token, biasanya ya. Cubaan semula ialah inferens baharu dan dibilkan semula. Pada pelan kadar tetap tanpa meter token, ia hanya menelan masa.

## Lihat juga

-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/) (istilah)
-   [API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/) (istilah)
-   [Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/) (istilah)
-   [Server-sent events (SSE)](https://broadrouter.com/ms/glossary/sse/) (istilah)
-   [Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/) (istilah)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Cara guna OpenAI Node.js SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-node-sdk/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Beralih ke API serasi OpenAI: senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-streaming&utm_content=page-cta) ·

**Sumber**

-   [MDN, menggunakan server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, streaming API responses](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [Rujukan API BroadNet Inference, penstriman (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-streaming&utm_content=sources#requests)
