---
title: "大模型 SSE 流式输出：获取 usage 与重试 | BroadRouter"
description: "BroadNet Inference 上的流式输出如何工作：Server-Sent Events（SSE）、[DONE] 结束标志、最后一个数据块里的 token 用量，以及流提前结束时该怎么做。"
url: https://broadrouter.com/zh/guides/streaming-chat-completions/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/streaming-chat-completions/)（2026-11-15 更新）。

# 对话补全的流式输出，以及连接中断的处理

更新于 2026-11-15

在 /v1/chat/completions 上把 stream 设为 true，然后一直读取 Server-Sent Events，直到出现字面上的 data: \[DONE\] 标志。加上 stream\_options 的 include\_usage，就能在最后一个数据块里拿到 token 数。如果连接在 \[DONE\] 之前断开，请把回答视为不完整，并记录 X-Request-ID。

流式输出让智能体或聊天界面在回答生成的同时就把它显示出来。BroadNet Inference 使用标准的 chat completions 流式格式，所以 [OpenAI Python SDK](https://broadrouter.com/zh/guides/openai-python-sdk/) 和 [OpenAI Node SDK](https://broadrouter.com/zh/guides/openai-node-sdk/) 会替你完成解析。

## 用 curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` 关闭 curl 的缓冲，`-D` 保存响应头，其中包括 `X-Request-ID`。

## 流是什么样子的？

响应是一个 [Server-Sent Events](https://broadrouter.com/zh/glossary/sse/) 流。按照 WHATWG HTML 标准，每个事件由一行或多行 `data:` 加一个空行组成；以冒号开头的行是注释，可以忽略。每一行 `data:` 包含一个 JSON 数据块，文本出现在 `choices[0].delta.content` 中。

## 规则

1.  一直读取事件，直到出现字面上的 `data: [DONE]` 这一行，然后关闭读取器。
2.  使用 `stream_options: {"include_usage": true}` 时，在 `[DONE]` 之前会多来一个数据块。它带有整个请求的 `usage`，以及一个空的 `choices` 列表，所以在按下标访问 `choices` 之前要先检查它。
3.  当模型报告这些字段时，usage 中会包含 `completion_tokens_details.reasoning_tokens`（DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考）和 `prompt_tokens_details.cached_tokens`。缓存 token 按较低的缓存输入价计费。

## 用 Python SDK

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK 会替你读到 `[DONE]` 为止。最后打印出的 `usage` 如果是 `None`，说明流在 usage 数据块到达之前就结束了。[OpenAI Node SDK 指南](https://broadrouter.com/zh/guides/openai-node-sdk/)展示了同样循环的 JavaScript 写法。

## 流提前结束时

如果连接在 `[DONE]` 之前关闭，回答就是不完整的。BroadNet 的建议是：

-   记录 `X-Request-ID`；
-   判断你的应用能否安全地发起一个**新**请求。重试是一次新的推理，在按量付费下会再次计费。

对于使用[不限量套餐](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)的智能体，重试不会产生额外费用，但在运行期间仍会占用会话。

BroadNet 的文档指出，在生产环境中依赖流式输出之前，仍需要按模型进行发布验证，所以请在你实际上线的模型上测试。

## 故障排查

-   **所有内容都在最后才打印出来。** curl 需要加 `-N`。如果前面有你自己的代理，请对 `text/event-stream` 关闭响应缓冲。
-   **最后一个数据块报 `IndexError` 或 `undefined`。** usage 数据块的 `choices` 列表是空的。读取 `[0]` 之前先检查 `chunk.choices`。
-   **完全没有 usage。** 你没有发送 `stream_options`，或者流在最后一个数据块之前就断了。
-   **流以 `finish_reason` `length` 结束，文本却很少。** 思考模型把 `max_tokens` 花在了思考上。参见[为什么思考模型会返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **并行流式输出时返回 429。** 每个打开的流都算一个进行中的请求；按量付费密钥允许 4 个。参见[BroadNet 错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[SSE（服务器发送事件，Server-sent events）](https://broadrouter.com/zh/glossary/sse/)

SSE（服务器发送事件，Server-sent events）是一项 Web 标准，让服务器通过一个内容类型为 text/event-stream 的长连接 HTTP 响应，向客户端推送一连串文本事件。每个事件由一行或多行字段（如 data:）组成，以一个空行结束。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

## 常见问题

### 流式输出时怎么拿到 token 用量？

发送 stream\_options，并把 include\_usage 设为 true。在 data: \[DONE\] 之前会多来一个数据块，其中 usage 有值，choices 为空数组。如果流先断了，这个数据块就不会到达。

### 为什么 curl 一次性打印出整个流式回答？

curl 默认会缓冲输出。加上 -N 参数（不缓冲），每个 Server-Sent Event 到达时就会立即打印。

### 重试的流会被重复计费吗？

按量付费下会。重试是一次新的推理请求。在 DeepSeek V4.1 Flash 不限量套餐上没有 token 计量，但重试在运行期间仍会占用会话。

### 流式输出比普通请求更贵吗？

不会。流式输出改变的是回答的交付方式，而不是计费方式。按量付费下，你支付的每 token 输入和输出价格与非流式请求相同。

## 相关指南

-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-streaming-chat-completions&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考文档：流式输出（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML 标准：Server-Sent Events（核对于 2026-11-14）](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK：stream\_options include\_usage 的文档字符串（核对于 2026-11-14）](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
