BroadRouter

Streaming chat completions dan menangani koneksi terputus

Diperbarui

Atur stream ke true di /v1/chat/completions dan baca Server-Sent Events sampai penanda literal data: [DONE]. Tambahkan stream_options include_usage untuk mendapatkan jumlah token di chunk terakhir. Jika koneksi berakhir sebelum [DONE], anggap jawabannya tidak lengkap dan catat X-Request-ID.

Streaming memungkinkan agen atau antarmuka chat menampilkan jawaban saat jawaban itu dihasilkan. BroadNet Inference memakai format streaming chat completions standar, jadi OpenAI Python SDK dan OpenAI Node SDK menangani parsing-nya untuk Anda.

Dengan curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N mematikan buffering curl, dan -D menyimpan header, termasuk X-Request-ID.

Seperti apa bentuk stream-nya?

Responsnya berupa stream Server-Sent Events. Menurut standar HTML WHATWG, setiap event terdiri dari satu atau lebih baris data: yang diikuti baris kosong, dan baris yang diawali titik dua adalah komentar yang bisa Anda abaikan. Setiap baris data: berisi satu chunk JSON, dan teksnya tiba di choices[0].delta.content.

Aturannya

  1. Baca event sampai baris literal data: [DONE], lalu tutup reader.
  2. Dengan stream_options: {"include_usage": true}, satu chunk tambahan tiba tepat sebelum [DONE]. Chunk ini membawa usage untuk seluruh permintaan dan list choices yang kosong, jadi periksa choices sebelum mengakses indeksnya.
  3. Jika model melaporkannya, usage tersebut mencakup completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar terlebih dahulu) dan prompt_tokens_details.cached_tokens. Token cache ditagih dengan harga input cache yang lebih rendah.

Dengan Python SDK

Pada baris terakhir kode, usage yang tetap bernilai None berarti stream berakhir sebelum chunk usage tiba.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK membaca sampai [DONE] untuk Anda. Panduan OpenAI Node SDK menunjukkan loop yang sama dalam JavaScript.

Jika stream berhenti lebih awal

Jika koneksi tertutup sebelum [DONE], jawabannya tidak lengkap. Panduan BroadNet:

  • catat X-Request-ID;
  • putuskan apakah aplikasi Anda aman untuk membuat permintaan baru. Percobaan ulang adalah inferensi baru dan ditagih lagi pada skema bayar sesuai pemakaian.

Untuk agen di paket unlimited, percobaan ulang tidak menambah biaya, tetapi tetap memakai sesi selama berjalan.

Dokumentasi BroadNet menyebutkan bahwa verifikasi rilis per model masih diperlukan sebelum Anda mengandalkan streaming di produksi, jadi uji streaming pada model yang akan Anda pakai.

Pemecahan masalah

  • Semuanya baru tercetak di akhir. curl perlu -N. Jika berada di belakang proxy Anda sendiri, matikan buffering respons untuk text/event-stream.
  • IndexError atau undefined pada chunk terakhir. Chunk usage memiliki list choices yang kosong. Periksa chunk.choices sebelum membaca [0].
  • Tidak ada usage sama sekali. Anda tidak mengirim stream_options, atau stream terputus sebelum chunk terakhir.
  • Stream berhenti dengan finish_reason length dan teks yang sedikit. Model penalaran menghabiskan max_tokens untuk bernalar. Lihat kenapa model penalaran mengembalikan jawaban kosong.
  • 429 saat streaming paralel. Setiap stream yang terbuka dihitung sebagai permintaan yang sedang berjalan; kunci bayar sesuai pemakaian mengizinkan 4. Lihat kode error BroadNet dan percobaan ulang.

Pertanyaan umum

Bagaimana cara mendapatkan penggunaan token saat streaming chat completions?

Kirim stream_options dengan include_usage bernilai true. Satu chunk tambahan tiba tepat sebelum data: [DONE], dengan usage terisi dan array choices kosong. Jika stream terputus lebih dulu, chunk itu tidak pernah tiba.

Kenapa curl mencetak seluruh jawaban streaming sekaligus?

curl mem-buffer output-nya secara default. Tambahkan flag -N (tanpa buffering) agar setiap Server-Sent Event langsung dicetak saat tiba.

Apakah stream yang dicoba ulang ditagih dua kali?

Pada skema bayar sesuai pemakaian, ya. Percobaan ulang adalah permintaan inferensi baru. Pada paket unlimited DeepSeek V4.1 Flash tidak ada meteran token, tetapi percobaan ulang tetap memakai sesi selama berjalan.

Apakah streaming lebih mahal daripada permintaan biasa?

Tidak. Streaming mengubah cara jawaban dikirim, bukan cara penagihannya. Pada skema bayar sesuai pemakaian, Anda membayar harga input dan output per token yang sama seperti permintaan tanpa streaming.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity