Tanpa penstriman, klien menunggu sehingga keseluruhan jawapan siap. Dengan penstriman, teks muncul semasa model menulisnya.
Cara ia berfungsi
Penstriman menggunakan server-sent events (SSE). Pelayan menjawab dengan jenis kandungan text/event-stream dan membiarkan sambungan terbuka. MDN menerangkan formatnya: baris field: value, dengan mesej “separated by a pair of newline characters.” (Terjemahan BroadRouter: “dipisahkan oleh sepasang aksara baris baharu.”)
Dalam format Chat Completions, setiap event membawa satu chunk dengan delta yang kecil. Dalam contoh di bawah, “Hel” dan “lo” tiba dalam chunk berasingan, diikuti chunk usage, dan akhirnya [DONE]:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
Klien menyambungkan delta tersebut. Baris data: [DONE] itu sendiri menandakan penghujung. Chunk usage hanya muncul jika permintaan memintanya dengan stream_options: {"include_usage": true}.
Mengapa ia penting
- Kelajuan yang dirasai. Pengguna melihat perkataan pertama selepas masa ke token pertama, bukan selepas keseluruhan jawapan. Selepas itu, teks mengalir mengikut token sesaat model.
- Output panjang. Penstriman memastikan sambungan kekal aktif, yang membantu dengan proksi yang menutup permintaan yang terbiar.
- Tindakan awal. Ejen dan UI boleh mula menghurai atau memaparkan sebelum penghujung.
Ada kosnya. OpenAI menyatakan penstriman menyukarkan moderasi, kerana “partial completions may be more difficult to evaluate.” (Terjemahan BroadRouter: “completion separa mungkin lebih sukar dinilai.”) Strim juga boleh terputus di tengah jalan, dan jawapan yang distrim memegang satu slot keserentakan sehingga ia tamat.
Di BroadNet Inference
BroadNet menggunakan bentuk penstriman chat completions yang standard pada https://inference.broadnet.ai/v1/chat/completions, jadi SDK Python dan Node menghuraikannya untuk anda. Dengan curl, tambah -N untuk mematikan penimbalan:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Model penaakulan boleh melaporkan reasoning_tokens dan cached_tokens dalam chunk usage terakhir. Jika sambungan ditutup sebelum [DONE], anggap jawapan itu tidak lengkap, rekodkan header X-Request-ID, dan putuskan sama ada permintaan baharu selamat dibuat. Dokumentasi BroadNet menyarankan anda mengesahkan penstriman pada model yang akan anda gunakan sebelum bergantung padanya dalam produksi. Butirannya ada dalam panduan penstriman dan ralat dan cuba semula.
Kesilapan biasa
- Menganggap sambungan yang ditutup sebagai jawapan yang selesai. Hanya
[DONE]bermaksud lengkap. - Meletakkan proksi yang menimbal di hadapan klien. Jawapan kemudian tiba sekali gus.