Tanpa streaming, client menunggu sampai seluruh jawaban selesai. Dengan streaming, teks muncul selagi model menulisnya.
Cara kerjanya
Streaming memakai server-sent events (SSE). Server menjawab dengan content type text/event-stream dan menjaga koneksi tetap terbuka. MDN menjelaskan formatnya: baris-baris field: value, dengan pesan yang “separated by a pair of newline characters” (terjemahan: dipisahkan oleh sepasang karakter baris baru).
Dalam format Chat Completions, setiap event membawa chunk berisi delta kecil:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
Client menggabungkan delta-delta itu. Baris data: [DONE] menandai akhir stream. Chunk usage hanya muncul jika permintaan memintanya dengan stream_options: {"include_usage": true}.
Kenapa ini penting
- Kecepatan yang dirasakan. Pengguna melihat kata-kata pertama setelah time to first token, bukan setelah seluruh balasan selesai. Setelah itu, teks mengalir sesuai token per detik model.
- Output panjang. Streaming menjaga koneksi tetap aktif, yang membantu jika ada proxy yang menutup permintaan yang menganggur.
- Tindakan lebih awal. Agen dan UI bisa mulai mem-parse atau merender sebelum balasan selesai.
Ada biayanya juga. OpenAI mencatat bahwa streaming mempersulit moderasi, karena “partial completions may be more difficult to evaluate” (terjemahan: completion parsial mungkin lebih sulit dievaluasi). Stream juga bisa putus di tengah jalan, dan balasan yang di-stream menempati satu slot konkurensi sampai selesai.
Di BroadNet Inference
BroadNet memakai format streaming chat completions standar di https://inference.broadnet.ai/v1/chat/completions, jadi SDK Python dan Node mem-parse-nya untuk Anda. Dengan curl, tambahkan -N untuk mematikan buffering:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Model penalaran bisa melaporkan reasoning_tokens dan cached_tokens di chunk usage terakhir. Jika koneksi tertutup sebelum [DONE], anggap jawabannya tidak lengkap, catat header X-Request-ID, lalu putuskan apakah permintaan baru aman dikirim. Dokumentasi BroadNet meminta Anda memverifikasi streaming di model yang akan Anda rilis sebelum mengandalkannya di produksi. Detailnya ada di panduan streaming dan panduan error dan percobaan ulang.
Kesalahan umum
- Menganggap koneksi yang tertutup sebagai jawaban yang selesai. Hanya
[DONE]yang berarti lengkap. - Memasang proxy yang mem-buffer di depan client. Balasan lalu tiba sekaligus.