BroadRouter

Penstriman LLM diterangkan: chunk SSE, delta, usage dan pembatalan

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

API LLM menstrim chat completion sebagai Server-Sent Events: setiap baris data memegang chunk JSON yang choices[0].delta-nya membawa kepingan teks seterusnya. Cantumkan delta, berhenti pada data: [DONE], dan tetapkan include_usage dalam stream_options untuk mendapatkan kiraan token dalam chunk terakhir dengan senarai choices kosong. Untuk membatalkan, tutup sambungan.

Tanpa penstriman, chat completion tidak memulangkan apa-apa sehingga keseluruhan jawapan siap. Jawapan 600 token pada kira-kira 100 token sesaat bermakna beberapa saat senyap. Dengan penstriman, perkataan pertama muncul sebaik sahaja model menulisnya. Artikel ini merangkumi apa yang sebenarnya bergerak pada wayar, cara menghuraikannya, cara mendapatkan usage token daripada strim, dan cara menghentikannya dengan bersih. Untuk peraturan khusus BroadNet dalam bentuk ringkas, lihat panduan rujukan penstriman.

Bagaimanakah rupa strim SSE pada wayar?

Server-Sent Events ialah respons HTTP biasa dengan Content-Type: text/event-stream. Pelayan memastikan sambungan terbuka dan menulis acara. Setiap acara ialah satu atau lebih baris data: diikuti baris kosong. API yang serasi OpenAI meletakkan satu chunk JSON dalam setiap acara dan berakhir dengan [DONE] literal:

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]

Bentuk di atas ialah ilustrasi dan dipendekkan. Chunk sebenar juga membawa model dan created, dan model penaakulan mungkin melaporkan token penaakulan dalam usage.

Apakah kandungan sebuah chunk?

Medan Di mana Maksudnya
choices[0].delta.role Chunk pertama Biasanya assistant. Dihantar sekali.
choices[0].delta.content Kebanyakan chunk Kepingan teks seterusnya. Boleh kosong.
choices[0].delta.tool_calls Panggilan alat Serpihan nama fungsi dan argumen JSON, untuk dicantum mengikut index.
choices[0].finish_reason Chunk kandungan terakhir stop, length atau tool_calls. null sehingga itu.
usage Chunk terakhir, jika diminta Jumlah untuk keseluruhan permintaan. null di tempat lain.

Idea utamanya ialah delta, bukan petikan keadaan penuh (snapshot). Setiap chunk hanya memegang apa yang baharu. Anda membina semula mesej dengan mencantumkan kepingan mengikut susunan. Panggilan alat distrim dengan cara yang sama: argumen tiba sebagai serpihan rentetan yang bukan JSON sah sehingga serpihan terakhir tiba, jadi huraikannya hanya selepas finish_reason menjadi tool_calls.

Bagaimanakah cara mendapatkan usage token daripada strim?

Respons bukan strim sentiasa menyertakan usage. Strim tidak, melainkan anda memintanya. Tetapkan stream_options: {"include_usage": true} dan pelayan menghantar satu chunk tambahan sebelum [DONE]. Chunk itu mempunyai jumlah dan tatasusunan choices kosong. Di BroadNet Inference, usage juga boleh termasuk prompt_tokens_details.cached_tokens dan completion_tokens_details.reasoning_tokens apabila model melaporkannya, iaitu apa yang anda perlukan untuk log kos.

Pepijat biasa: kod yang membaca chunk.choices[0] pada setiap chunk menimbulkan ralat indeks pada chunk usage. Semak choices dahulu.

Python: strim, kumpul usage, batal

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)

break sahaja menghentikan pembacaan, tetapi soket kekal terbuka sehingga ia dikutip sampah (garbage collected). Tutupnya secara eksplisit supaya pelayan melihat pemutusan sambungan.

Node: strim dengan AbortController

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}

README openai-node mendokumentasikan pilihan signal, dan ia berfungsi semasa badan respons masih dibaca. Dalam pelayan web, sambungkan controller.abort() kepada acara close permintaan klien supaya pengguna yang meninggalkan halaman turut menghentikan penjanaan. Lebih banyak persediaan dalam panduan Node SDK.

curl: lihat acara mentah

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'

-N mematikan penimbalan output supaya acara dicetak sebaik tiba. Tekan Ctrl+C untuk membatalkan; itu menutup sambungan. Pembina permintaan API menjana permintaan ini, serta versi Python dan Node, untuk mana-mana model dan base URL.

Bagaimanakah cara membatalkan strim, dan berapakah kosnya?

Pembatalan dalam SSE hanyalah menutup sambungan. Tiada mesej “stop”. Apa yang berlaku seterusnya terpulang kepada pelayan: pelayan yang berkelakuan baik menyedari soket ditutup dan berhenti menjana. Token yang dihasilkan sebelum saat itu ialah kerja sebenar. Rujukan API BroadNet tidak mendokumentasikan pengebilan untuk strim yang dibatalkan, jadi rancang seolah-olah token yang dijana sehingga pemutusan sambungan dibilkan pada bayar ikut guna, dan semak rekod usage anda. Pada pelan kadar tetap, strim yang dibatalkan tidak menambah kos tetapi hanya membebaskan sesi apabila pelayan berhenti.

Lima pepijat penstriman yang perlu disemak

  1. Proksi yang menimbal. Nginx dan sesetengah CDN menimbal respons, jadi klien menerima semuanya serentak. Matikan penimbalan proksi untuk laluan penstriman.
  2. Tiada semakan [DONE]. Sambungan yang terputus kelihatan seperti jawapan pendek. Anggap ketiadaan [DONE] sebagai tidak lengkap dan rekod X-Request-ID, seperti yang diterangkan dalam panduan ralat.
  3. Mencuba semula di tengah strim. SDK tidak mencuba semula setelah badan respons mula tiba. Cuba semula ialah permintaan baharu dan, pada bayar ikut guna, bil baharu.
  4. Mengabaikan finish_reason: length. Pada model penaakulan seperti DeepSeek V4.1 Flash, proses berfikir dikira dalam max_tokens, jadi had yang kecil boleh menghentikan strim sebelum sebarang teks kelihatan. Lihat kos token penaakulan.
  5. Memecah baris dengan salah. Jika anda menghuraikan SSE secara manual, timbal bait sehingga anda melihat baris kosong. Satu bacaan TCP boleh berakhir di tengah-tengah chunk JSON.

Di manakah BroadNet Inference sesuai

BroadNet Inference menggunakan bentuk penstriman serasi OpenAI yang standard, jadi Python dan Node SDK menghuraikannya tanpa perubahan. Usage dalam chunk terakhir termasuk token cache dan penaakulan apabila model melaporkannya. Dokumentasinya menyatakan penstriman masih patut disahkan bagi setiap model sebelum digunakan dalam produksi, jadi jalankan kod di atas terhadap model tepat yang anda gunakan. Jika anda paling mementingkan kepantasan token pertama tiba, baca TTFT vs daya pemprosesan seterusnya. Jika anda memerlukan suara masa nyata melalui WebSockets, API ini tidak dibina untuk itu; ia menawarkan chat completions dan transkripsi fail.

Soalan lazim

Apakah perbezaan antara SSE dan WebSockets untuk penstriman LLM?

SSE adalah sehala, dari pelayan ke klien, melalui respons HTTP biasa. Itu sahaja yang diperlukan oleh chat completion, jadi API yang serasi OpenAI menggunakan SSE. WebSockets adalah dua hala dan memerlukan naik taraf protokol; ia digunakan untuk suara masa nyata, bukan untuk chat completions.

Mengapakah usage bernilai null dalam chunk penstriman saya?

Usage hanya dihantar apabila anda memintanya. Tambah stream_options dengan include_usage ditetapkan kepada true. Setiap chunk kecuali yang terakhir kemudiannya mempunyai usage null, dan chunk terakhir membawa jumlah dengan senarai choices kosong.

Adakah saya dicaj jika saya membatalkan strim?

Penyedia berbeza-beza dan banyak yang tidak mendokumentasikannya. Anggap token yang dijana sebelum pelayan menyedari sambungan ditutup akan dibilkan. Log X-Request-ID dan bandingkan dengan rekod usage anda.

Bagaimanakah saya tahu strim selesai dengan normal?

Anda menerima data: [DONE] dan chunk kandungan terakhir mempunyai finish_reason seperti stop. finish_reason length bermaksud max_tokens memotong jawapan. Tiada [DONE] bermaksud sambungan terputus.

Adakah penstriman menjadikan model lebih pantas?

Tidak. Jumlah masa penjanaan adalah sama. Penstriman memendekkan masa sehingga pengguna melihat perkataan pertama, dan itulah yang menjadikan antara muka chat terasa pantas.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity