BroadRouter
Mulai

Streaming (respons streaming)

Diperbarui

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

Disebut juga: streaming, streaming LLM, respons streaming, streaming token, stream=true, streaming responses, token streaming

Tanpa streaming, client menunggu sampai seluruh jawaban selesai. Dengan streaming, teks muncul selagi model menulisnya.

Cara kerjanya

Streaming memakai server-sent events (SSE). Server menjawab dengan content type text/event-stream dan menjaga koneksi tetap terbuka. MDN menjelaskan formatnya: baris-baris field: value, dengan pesan yang “separated by a pair of newline characters” (terjemahan: dipisahkan oleh sepasang karakter baris baru).

Dalam format Chat Completions, setiap event membawa chunk berisi delta kecil:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Client menggabungkan delta-delta itu. Baris data: [DONE] menandai akhir stream. Chunk usage hanya muncul jika permintaan memintanya dengan stream_options: {"include_usage": true}.

Kenapa ini penting

  • Kecepatan yang dirasakan. Pengguna melihat kata-kata pertama setelah time to first token, bukan setelah seluruh balasan selesai. Setelah itu, teks mengalir sesuai token per detik model.
  • Output panjang. Streaming menjaga koneksi tetap aktif, yang membantu jika ada proxy yang menutup permintaan yang menganggur.
  • Tindakan lebih awal. Agen dan UI bisa mulai mem-parse atau merender sebelum balasan selesai.

Ada biayanya juga. OpenAI mencatat bahwa streaming mempersulit moderasi, karena “partial completions may be more difficult to evaluate” (terjemahan: completion parsial mungkin lebih sulit dievaluasi). Stream juga bisa putus di tengah jalan, dan balasan yang di-stream menempati satu slot konkurensi sampai selesai.

Di BroadNet Inference

BroadNet memakai format streaming chat completions standar di https://inference.broadnet.ai/v1/chat/completions, jadi SDK Python dan Node mem-parse-nya untuk Anda. Dengan curl, tambahkan -N untuk mematikan buffering:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Model penalaran bisa melaporkan reasoning_tokens dan cached_tokens di chunk usage terakhir. Jika koneksi tertutup sebelum [DONE], anggap jawabannya tidak lengkap, catat header X-Request-ID, lalu putuskan apakah permintaan baru aman dikirim. Dokumentasi BroadNet meminta Anda memverifikasi streaming di model yang akan Anda rilis sebelum mengandalkannya di produksi. Detailnya ada di panduan streaming dan panduan error dan percobaan ulang.

Kesalahan umum

  • Menganggap koneksi yang tertutup sebagai jawaban yang selesai. Hanya [DONE] yang berarti lengkap.
  • Memasang proxy yang mem-buffer di depan client. Balasan lalu tiba sekaligus.

Pertanyaan umum

Apakah streaming membuat model lebih cepat?

Tidak. Kecepatan generasinya sama. Streaming menampilkan kata-kata pertama lebih cepat, sehingga balasan terasa lebih cepat, dan memungkinkan kode memproses output parsial.

Bagaimana cara mendapatkan usage token dalam stream?

Dalam format Chat Completions, kirim stream_options dengan include_usage bernilai true. Chunk terakhir lalu membawa usage dan daftar choices yang kosong.

Apakah stream yang dicoba ulang ditagih dua kali?

Pada kunci yang ditagih per token, biasanya ya. Percobaan ulang adalah inferensi baru, jadi ditagih lagi. Pada paket harga tetap tanpa meteran token, percobaan ulang hanya memakan waktu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity