BroadRouter
Mulakan

Penstriman (streaming)

Dikemas kini

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

Juga dikenali sebagai: streaming, strim, penstriman LLM, strim respons, streaming responses, stream=true, token streaming

Tanpa penstriman, klien menunggu sehingga keseluruhan jawapan siap. Dengan penstriman, teks muncul semasa model menulisnya.

Cara ia berfungsi

Penstriman menggunakan server-sent events (SSE). Pelayan menjawab dengan jenis kandungan text/event-stream dan membiarkan sambungan terbuka. MDN menerangkan formatnya: baris field: value, dengan mesej “separated by a pair of newline characters.” (Terjemahan BroadRouter: “dipisahkan oleh sepasang aksara baris baharu.”)

Dalam format Chat Completions, setiap event membawa satu chunk dengan delta yang kecil. Dalam contoh di bawah, “Hel” dan “lo” tiba dalam chunk berasingan, diikuti chunk usage, dan akhirnya [DONE]:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Klien menyambungkan delta tersebut. Baris data: [DONE] itu sendiri menandakan penghujung. Chunk usage hanya muncul jika permintaan memintanya dengan stream_options: {"include_usage": true}.

Mengapa ia penting

  • Kelajuan yang dirasai. Pengguna melihat perkataan pertama selepas masa ke token pertama, bukan selepas keseluruhan jawapan. Selepas itu, teks mengalir mengikut token sesaat model.
  • Output panjang. Penstriman memastikan sambungan kekal aktif, yang membantu dengan proksi yang menutup permintaan yang terbiar.
  • Tindakan awal. Ejen dan UI boleh mula menghurai atau memaparkan sebelum penghujung.

Ada kosnya. OpenAI menyatakan penstriman menyukarkan moderasi, kerana “partial completions may be more difficult to evaluate.” (Terjemahan BroadRouter: “completion separa mungkin lebih sukar dinilai.”) Strim juga boleh terputus di tengah jalan, dan jawapan yang distrim memegang satu slot keserentakan sehingga ia tamat.

Di BroadNet Inference

BroadNet menggunakan bentuk penstriman chat completions yang standard pada https://inference.broadnet.ai/v1/chat/completions, jadi SDK Python dan Node menghuraikannya untuk anda. Dengan curl, tambah -N untuk mematikan penimbalan:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Model penaakulan boleh melaporkan reasoning_tokens dan cached_tokens dalam chunk usage terakhir. Jika sambungan ditutup sebelum [DONE], anggap jawapan itu tidak lengkap, rekodkan header X-Request-ID, dan putuskan sama ada permintaan baharu selamat dibuat. Dokumentasi BroadNet menyarankan anda mengesahkan penstriman pada model yang akan anda gunakan sebelum bergantung padanya dalam produksi. Butirannya ada dalam panduan penstriman dan ralat dan cuba semula.

Kesilapan biasa

  • Menganggap sambungan yang ditutup sebagai jawapan yang selesai. Hanya [DONE] bermaksud lengkap.
  • Meletakkan proksi yang menimbal di hadapan klien. Jawapan kemudian tiba sekali gus.

Soalan lazim

Adakah penstriman menjadikan model lebih pantas?

Tidak. Kelajuan penjanaan tetap sama. Penstriman memaparkan perkataan pertama lebih awal, jadi jawapan terasa lebih pantas, dan membolehkan kod bertindak pada output separa.

Bagaimanakah saya mendapatkan penggunaan token dalam strim?

Dalam format Chat Completions, hantar stream_options dengan include_usage ditetapkan kepada true. Chunk terakhir kemudian membawa usage dan senarai choices yang kosong.

Adakah strim yang dicuba semula dibilkan dua kali?

Pada kunci setiap token, biasanya ya. Cubaan semula ialah inferens baharu dan dibilkan semula. Pada pelan kadar tetap tanpa meter token, ia hanya menelan masa.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity