SSE ialah pembingkaian teks biasa di sebalik hampir setiap jawapan LLM yang distrim. Memahami formatnya membantu apabila SDK tiada atau strim berkelakuan pelik.
Cara ia berfungsi
Piawaian HTML WHATWG mentakrifkan format ini. Respons mempunyai jenis MIME text/event-stream dan sentiasa UTF-8. Badannya terdiri daripada baris field: value:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Peraturan penghuraian yang penting:
- Baris kosong menghantar event. Sehingga ia tiba, klien menimbal data.
- Beberapa baris
data:disambung dengan baris baharu menjadi satu mesej. - Baris yang bermula dengan titik bertindih ialah komen. Pelayan menghantarnya untuk memastikan sambungan terbiar kekal terbuka.
- Satu ruang selepas titik bertindih dibuang. Baris boleh berakhir dengan CRLF, LF atau CR.
event,iddanretrymenetapkan jenis event, ID event terakhir dan kelewatan sambung semula dalam milisaat.
Bacaan rangkaian tidak sejajar dengan event. Satu bacaan boleh mengandungi separuh event atau tiga event, jadi penghurai mesti menimbal bait dan memisahkan pada baris kosong, bukan pada setiap bacaan.
Sambung semula, proksi dan [DONE]
Piawaian ini menyediakan pemulihan terbina dalam untuk pelayar: selepas sambungan terputus, EventSource menyambung semula dan menghantar pengepala Last-Event-ID, dan pelayan boleh menghentikan cubaan semula dengan HTTP 204. Spesifikasi itu juga memberi amaran bahawa “legacy proxy servers” (pelayan proksi lama) mungkin memutuskan sambungan HTTP selepas tamat masa yang singkat, dan mencadangkan baris komen “every 15 seconds or so” (kira-kira setiap 15 saat).
API LLM menggunakan lebih sedikit daripada ini. Strim Chat Completions OpenAI hanya menghantar baris data: dan tamat dengan data: [DONE], satu konvensyen API itu, bukan SSE. Tiada ID event untuk disambung semula, jadi strim yang terputus tidak boleh diteruskan; cubaan semula ialah permintaan baharu. Gambaran umum penstriman dan manfaat masa ke token pertama dibincangkan di halaman itu.
Di BroadNet Inference
Dokumentasi BroadNet menyatakan untuk menetapkan stream=true dan “read Server-Sent Events until the literal data: [DONE] marker” (Terjemahan BroadRouter: “baca Server-Sent Events sehingga penanda literal data: [DONE]”). Jika sambungan tamat sebelum itu, anggap respons tidak lengkap, rekodkan pengepala X-Request-ID, dan tentukan sama ada permintaan inferens baharu selamat. Dengan stream_options: {"include_usage": true}, usage tiba dalam cebisan terakhir. Contoh curl dalam dokumentasi menggunakan -N supaya curl tidak menimbal. Strim juga memegang satu slot keserentakan sehingga ia tamat: 4 pada kunci bayar ikut guna, satu pada kunci sejam. Dokumentasi meminta anda mengesahkan penstriman bagi setiap model sebelum pengeluaran. Kod untuk setiap SDK ada dalam panduan penstriman, dan kandungan cebisan diterangkan dalam penstriman LLM dijelaskan.