---
title: "Streaming LLM qua SSE: chunk, delta, usage, hủy | BroadRouter"
description: "Streaming chat completion thực sự truyền đi thế nào, cách ghép câu trả lời từ delta, đọc usage ở chunk cuối và hủy gọn gàng bằng Python, Node và curl."
url: https://broadrouter.com/vi/blog/llm-streaming-sse-explained/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/llm-streaming-sse-explained/) (cập nhật ngày 2026-11-16).

# Giải thích streaming LLM: chunk SSE, delta, usage và hủy

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

API LLM stream một chat completion dưới dạng Server-Sent Events: mỗi dòng data chứa một chunk JSON có choices\[0\].delta mang mẩu văn bản tiếp theo. Hãy nối các delta, dừng ở data: \[DONE\], và đặt include\_usage trong stream\_options để nhận số token ở chunk cuối có danh sách choices rỗng. Để hủy, hãy đóng kết nối.

## Ý chính

-   Stream là HTTP thông thường: `Content-Type: text/event-stream`, mỗi chunk một dòng `data:`, một dòng trống giữa các event, và `data: [DONE]` ở cuối.
-   Mỗi chunk mang một `delta`, không phải toàn bộ tin nhắn. Hãy nối các chuỗi `delta.content` để ghép lại câu trả lời.
-   Trong stream, usage mặc định bị tắt. `stream_options: {"include_usage": true}` thêm một chunk cuối chứa usage và mảng `choices` rỗng.
-   Hãy kiểm tra trước mọi lần truy cập `choices[0]`: chunk usage không có choices, và parser nào cho rằng có sẽ bị crash.
-   Hủy bằng cách đóng kết nối HTTP. Một stream kết thúc mà không có `[DONE]` là câu trả lời chưa đầy đủ, không phải đã xong.

**Trong trang này**

1.  Một stream SSE trên đường truyền trông thế nào?
2.  Một chunk chứa những gì?
3.  Lấy usage token từ một stream thế nào?
4.  Python: stream, thu usage, hủy
5.  Node: stream với AbortController
6.  curl: xem event thô
7.  Hủy stream thế nào, và tốn bao nhiêu?
8.  Năm lỗi streaming cần kiểm tra
9.  BroadNet Inference phù hợp ở đâu?

Không có [streaming](https://broadrouter.com/vi/glossary/streaming/), một chat completion không trả về gì cho tới khi toàn bộ câu trả lời sẵn sàng. Một phản hồi 600 token ở tốc độ khoảng 100 token mỗi giây nghĩa là vài giây im lặng. Có streaming, những chữ đầu tiên hiện ra ngay khi model viết chúng. Bài này trình bày những gì thực sự đi qua đường truyền, cách parse, cách lấy usage [token](https://broadrouter.com/vi/glossary/token/) từ một stream, và cách dừng stream gọn gàng. Để xem tóm tắt các quy tắc riêng của BroadNet, hãy xem [hướng dẫn tham khảo về streaming](https://broadrouter.com/vi/guides/streaming-chat-completions/).

## Một stream SSE trên đường truyền trông thế nào?

Server-Sent Events là một phản hồi HTTP thông thường với `Content-Type: text/event-stream`. Server giữ kết nối mở và ghi các event. Mỗi event gồm một hoặc nhiều dòng `data:` theo sau là một dòng trống. Các API tương thích OpenAI đặt một chunk JSON vào mỗi event và kết thúc bằng chuỗi `[DONE]`:

```text
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]
```

Cấu trúc trên chỉ để minh họa và đã được rút gọn. Chunk thật còn mang `model` và `created`, và model suy luận có thể báo token suy luận trong usage.

## Một chunk chứa những gì?

| Trường | Ở đâu | Ý nghĩa |
| --- | --- | --- |
| `choices[0].delta.role` | Chunk đầu tiên | Thường là `assistant`. Chỉ gửi một lần. |
| `choices[0].delta.content` | Phần lớn các chunk | Mẩu văn bản tiếp theo. Có thể rỗng. |
| `choices[0].delta.tool_calls` | Tool call | Các mảnh của tên hàm và tham số JSON, nối lại theo `index`. |
| `choices[0].finish_reason` | Chunk nội dung cuối | `stop`, `length` hoặc `tool_calls`. Trước đó là `null`. |
| `usage` | Chunk cuối, nếu được yêu cầu | Tổng số cho toàn bộ request. Ở mọi chỗ khác là `null`. |

Ý then chốt là **delta, không phải snapshot**. Mỗi chunk chỉ chứa phần mới. Bạn ghép lại tin nhắn bằng cách nối các mảnh theo thứ tự. [Tool call](https://broadrouter.com/vi/glossary/tool-calling/) được stream theo cùng cách: tham số đến dưới dạng các mảnh chuỗi, không phải JSON hợp lệ cho tới khi mảnh cuối tới, nên chỉ parse chúng sau khi `finish_reason` là `tool_calls`.

## Lấy usage token từ một stream thế nào?

Phản hồi không streaming luôn có `usage`. Stream thì không, trừ khi bạn yêu cầu. Hãy đặt `stream_options: {"include_usage": true}` và server sẽ gửi thêm một chunk trước `[DONE]`. Chunk đó có tổng số và một **mảng `choices` rỗng**. Trên BroadNet Inference, usage còn có thể gồm `prompt_tokens_details.cached_tokens` và `completion_tokens_details.reasoning_tokens` khi model có báo, đó là những gì bạn cần cho việc [ghi log chi phí](https://broadrouter.com/vi/blog/llm-api-usage-logging/).

Lỗi hay gặp: code đọc `chunk.choices[0]` ở mọi chunk sẽ gặp lỗi index ở chunk usage. Hãy kiểm tra `choices` trước.

## Python: stream, thu usage, hủy

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)
```

Chỉ `break` thì dừng đọc, nhưng socket vẫn mở cho tới khi bị garbage collect. Hãy đóng nó một cách tường minh để server thấy kết nối đã ngắt.

## Node: stream với AbortController

```javascript
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}
```

[README của openai-node](https://github.com/openai/openai-node) mô tả tùy chọn `signal`, và nó hoạt động cả khi body vẫn đang được đọc. Trong một web server, hãy nối `controller.abort()` với event `close` của request phía client, để người dùng rời trang thì quá trình sinh cũng dừng. Thiết lập chi tiết có trong [hướng dẫn Node SDK](https://broadrouter.com/vi/guides/openai-node-sdk/).

## curl: xem event thô

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
```

`-N` tắt bộ đệm đầu ra để event được in ra ngay khi tới. Nhấn Ctrl+C để hủy; thao tác này đóng kết nối. [Công cụ tạo request API](https://broadrouter.com/tools/api-request-builder/) sinh ra request này, cùng phiên bản Python và Node, cho bất kỳ model và base URL nào.

## Hủy stream thế nào, và tốn bao nhiêu?

Hủy trong SSE chỉ đơn giản là đóng kết nối. Không có tin nhắn “dừng” nào. Chuyện gì xảy ra tiếp theo là tùy server: một server hoạt động đúng sẽ nhận ra socket đã đóng và ngừng sinh. Các token sinh ra trước thời điểm đó là công việc thật. Tài liệu API của BroadNet không mô tả cách tính phí cho stream bị hủy, nên hãy lập kế hoạch như thể các token sinh ra cho tới lúc ngắt kết nối đều bị tính phí khi [trả theo mức dùng](https://broadrouter.com/vi/glossary/pay-as-you-go/), và kiểm tra bản ghi usage. Trên gói giá cố định, stream bị hủy không tốn thêm gì, nhưng phiên chỉ được giải phóng khi server dừng.

## Năm lỗi streaming cần kiểm tra

1.  **Proxy có bộ đệm.** Nginx và một số CDN đệm phản hồi, nên client nhận mọi thứ cùng lúc. Hãy tắt proxy buffering cho route streaming.
2.  **Không kiểm tra `[DONE]`.** Kết nối bị rớt trông giống một câu trả lời ngắn. Hãy coi việc thiếu `[DONE]` là chưa hoàn chỉnh và ghi lại `X-Request-ID`, như [hướng dẫn về lỗi](https://broadrouter.com/vi/guides/errors-and-retries/) mô tả.
3.  **Retry giữa stream.** SDK không retry khi body đã bắt đầu tới. Một lần retry là một request mới và, khi trả theo mức dùng, là một hóa đơn mới.
4.  **Bỏ qua `finish_reason: length`.** Trên model suy luận như [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/), phần thinking được tính vào [max\_tokens](https://broadrouter.com/vi/glossary/max-tokens/), nên giới hạn nhỏ có thể dừng stream trước khi có văn bản nào hiện ra. Xem [token suy luận tốn bao nhiêu](https://broadrouter.com/vi/blog/reasoning-tokens-cost/).
5.  **Tách dòng sai.** Nếu bạn tự parse SSE, hãy đệm byte cho tới khi gặp dòng trống. Một lần đọc TCP có thể kết thúc giữa một chunk JSON.

## BroadNet Inference phù hợp ở đâu?

BroadNet Inference dùng định dạng streaming chuẩn [tương thích OpenAI](https://broadrouter.com/vi/glossary/openai-compatible-api/), nên Python và Node SDK parse được mà không cần sửa gì. Usage trong chunk cuối gồm token cache và token suy luận khi model có báo. Tài liệu cho biết vẫn nên kiểm tra streaming theo từng model trước khi dùng cho production, nên hãy chạy code ở trên với đúng model bạn triển khai. Nếu bạn quan tâm chủ yếu tới việc token đầu tiên đến nhanh thế nào, hãy đọc tiếp [TTFT và throughput](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/). Nếu bạn cần giọng nói thời gian thực qua WebSocket, API này không được xây dựng cho việc đó; nó cung cấp chat completions và chép lời file.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Server-sent events (SSE)](https://broadrouter.com/vi/glossary/sse/)

Server-sent events (SSE) là một chuẩn web cho phép server đẩy một luồng sự kiện dạng văn bản tới client qua một HTTP response duy nhất, giữ mở lâu, với content type text/event-stream. Mỗi sự kiện gồm một hoặc nhiều dòng trường, như data:, và kết thúc bằng một dòng trống.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Token suy luận (reasoning tokens)](https://broadrouter.com/vi/glossary/reasoning-tokens/)

Token suy luận (reasoning tokens) là token mà model suy luận sinh ra để giải quyết vấn đề trước khi viết câu trả lời hiển thị. Chúng thường được tính phí như token đầu ra, tính vào giới hạn đầu ra và context window, và có thể bị API ẩn đi hoặc tóm tắt.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

## Câu hỏi thường gặp

### SSE và WebSocket khác nhau thế nào khi streaming LLM?

SSE là một chiều, từ server tới client, trên một phản hồi HTTP bình thường. Chat completion chỉ cần vậy, nên các API tương thích OpenAI dùng SSE. WebSocket là hai chiều và cần nâng cấp giao thức; nó được dùng cho giọng nói thời gian thực, không phải chat completion.

### Vì sao usage là null trong các chunk streaming của tôi?

Usage chỉ được gửi khi bạn yêu cầu. Hãy thêm stream\_options với include\_usage là true. Khi đó mọi chunk trừ chunk cuối có usage null, và chunk cuối mang tổng số kèm danh sách choices rỗng.

### Hủy stream có bị tính phí không?

Mỗi nhà cung cấp một khác và nhiều nơi không ghi rõ. Hãy giả định các token sinh ra trước khi server nhận ra kết nối đã đóng sẽ bị tính phí. Hãy ghi log X-Request-ID và đối chiếu với bản ghi usage của bạn.

### Làm sao biết stream kết thúc bình thường?

Bạn đã nhận data: \[DONE\] và chunk nội dung cuối có finish\_reason như stop. finish\_reason là length nghĩa là max\_tokens đã cắt câu trả lời. Không có \[DONE\] nghĩa là kết nối bị rớt.

### Streaming có làm model nhanh hơn không?

Không. Tổng thời gian sinh vẫn vậy. Streaming rút ngắn thời gian tới khi người dùng thấy những chữ đầu tiên, và đó là điều khiến giao diện chat có cảm giác nhanh.

## Đọc tiếp

-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/)
-   [Ghi log sử dụng API LLM: chi phí theo người dùng, tính năng, ẩn PII](https://broadrouter.com/vi/blog/llm-api-usage-logging/)
-   [Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Hướng dẫn: Dùng OpenAI Node.js SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-node-sdk/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-streaming-sse-explained&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu API BroadNet Inference, streaming và usage (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-streaming-sse-explained&utm_content=sources#requests)
-   [MDN, sử dụng server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [Thông báo trên cộng đồng OpenAI, thống kê usage khi streaming (stream\_options)](https://community.openai.com/t/usage-stats-now-available-when-using-streaming-with-the-chat-completions-api-or-completions-api/738156)
-   [README của openai-python, phản hồi streaming và retry (truy cập 2026-11-14)](https://github.com/openai/openai-python)
-   [README của openai-node, hủy bằng AbortSignal (truy cập 2026-11-14)](https://github.com/openai/openai-node)
