BroadRouter
Mulakan

Server-sent events (SSE)

Dikemas kini

Server-sent events (SSE) ialah piawaian web untuk pelayan menolak aliran event teks kepada klien melalui satu respons HTTP yang kekal lama dengan jenis kandungan text/event-stream. Setiap event terdiri daripada satu atau lebih baris medan, seperti data:, yang ditamatkan dengan baris kosong.

Juga dikenali sebagai: SSE LLM, strim event, SSE, server-sent events, text/event-stream, event stream, EventSource

SSE ialah pembingkaian teks biasa di sebalik hampir setiap jawapan LLM yang distrim. Memahami formatnya membantu apabila SDK tiada atau strim berkelakuan pelik.

Cara ia berfungsi

Piawaian HTML WHATWG mentakrifkan format ini. Respons mempunyai jenis MIME text/event-stream dan sentiasa UTF-8. Badannya terdiri daripada baris field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Peraturan penghuraian yang penting:

  • Baris kosong menghantar event. Sehingga ia tiba, klien menimbal data.
  • Beberapa baris data: disambung dengan baris baharu menjadi satu mesej.
  • Baris yang bermula dengan titik bertindih ialah komen. Pelayan menghantarnya untuk memastikan sambungan terbiar kekal terbuka.
  • Satu ruang selepas titik bertindih dibuang. Baris boleh berakhir dengan CRLF, LF atau CR.
  • event, id dan retry menetapkan jenis event, ID event terakhir dan kelewatan sambung semula dalam milisaat.

Bacaan rangkaian tidak sejajar dengan event. Satu bacaan boleh mengandungi separuh event atau tiga event, jadi penghurai mesti menimbal bait dan memisahkan pada baris kosong, bukan pada setiap bacaan.

Sambung semula, proksi dan [DONE]

Piawaian ini menyediakan pemulihan terbina dalam untuk pelayar: selepas sambungan terputus, EventSource menyambung semula dan menghantar pengepala Last-Event-ID, dan pelayan boleh menghentikan cubaan semula dengan HTTP 204. Spesifikasi itu juga memberi amaran bahawa “legacy proxy servers” (pelayan proksi lama) mungkin memutuskan sambungan HTTP selepas tamat masa yang singkat, dan mencadangkan baris komen “every 15 seconds or so” (kira-kira setiap 15 saat).

API LLM menggunakan lebih sedikit daripada ini. Strim Chat Completions OpenAI hanya menghantar baris data: dan tamat dengan data: [DONE], satu konvensyen API itu, bukan SSE. Tiada ID event untuk disambung semula, jadi strim yang terputus tidak boleh diteruskan; cubaan semula ialah permintaan baharu. Gambaran umum penstriman dan manfaat masa ke token pertama dibincangkan di halaman itu.

Di BroadNet Inference

Dokumentasi BroadNet menyatakan untuk menetapkan stream=true dan “read Server-Sent Events until the literal data: [DONE] marker” (Terjemahan BroadRouter: “baca Server-Sent Events sehingga penanda literal data: [DONE]”). Jika sambungan tamat sebelum itu, anggap respons tidak lengkap, rekodkan pengepala X-Request-ID, dan tentukan sama ada permintaan inferens baharu selamat. Dengan stream_options: {"include_usage": true}, usage tiba dalam cebisan terakhir. Contoh curl dalam dokumentasi menggunakan -N supaya curl tidak menimbal. Strim juga memegang satu slot keserentakan sehingga ia tamat: 4 pada kunci bayar ikut guna, satu pada kunci sejam. Dokumentasi meminta anda mengesahkan penstriman bagi setiap model sebelum pengeluaran. Kod untuk setiap SDK ada dalam panduan penstriman, dan kandungan cebisan diterangkan dalam penstriman LLM dijelaskan.

Soalan lazim

Bolehkah saya menggunakan API EventSource pelayar dengan API LLM?

Biasanya tidak secara terus. Konstruktor EventSource dalam spesifikasi hanya menerima URL dan bendera withCredentials, jadi ia tidak boleh menghantar badan POST atau pengepala Authorization. Gunakan fetch dan hurai strim sendiri, atau gunakan SDK.

Apakah maksud "data: [DONE]"?

Ia bukan sebahagian daripada piawaian SSE. API gaya OpenAI menghantar baris literal "data: [DONE]" sebagai event terakhir untuk menyatakan jawapan sudah lengkap.

Mengapa strim saya tiba sekali gus?

Sesuatu antara pelayan dan kod anda sedang menimbal respons, seperti proksi songsang, rangka kerja, atau curl tanpa -N. Matikan penimbalan untuk laluan itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity