BroadRouter
Başlayın

Akış (streaming)

Güncellendi

Akış (streaming), bir dil modeli yanıtını sonda tek parça halinde değil, hâlâ üretilirken küçük parçalar halinde döndürme yöntemidir. OpenAI uyumlu API'ler, istekte stream değeri true olduğunda server-sent events (SSE) üzerinden akış yapar.

Diğer adları: akış, yanıt akışı, akışlı yanıt, token akışı, streaming, streaming responses, stream=true, token streaming

Akış olmadan istemci, yanıtın tamamı bitene kadar bekler. Akışla metin, model yazdıkça görünür.

Nasıl çalışır

Akış, server-sent events (SSE) kullanır. Sunucu text/event-stream içerik türüyle yanıt verir ve bağlantıyı açık tutar. MDN biçimi şöyle tarif eder: field: value satırları ve “separated by a pair of newline characters” (çeviri: bir çift yeni satır karakteriyle ayrılan) mesajlar.

Chat Completions biçiminde her olay, küçük bir delta içeren bir parça taşır:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

İstemci delta’ları birleştirir. Sondaki data: [DONE] satırı bitişi işaret eder. Kullanım parçası yalnızca istek bunu stream_options: {"include_usage": true} ile istediyse görünür.

Neden önemli

  • Algılanan hız. Kullanıcılar ilk kelimeleri yanıtın tamamından sonra değil, ilk token süresinden sonra görür. Ardından metin, modelin saniye başına token hızında akar.
  • Uzun çıktılar. Akış bağlantıyı etkin tutar; bu da boşta kalan istekleri kapatan proxy’lerde işe yarar.
  • Erken işlem. Ajanlar ve arayüzler, yanıt bitmeden ayrıştırmaya veya görüntülemeye başlayabilir.

Bunun bedelleri de vardır. OpenAI, akışın moderasyonu zorlaştırdığını belirtir; çünkü “partial completions may be more difficult to evaluate” (çeviri: kısmi yanıtları değerlendirmek daha zor olabilir). Bir akış yarıda da kopabilir ve akışla gelen bir yanıt, bitene kadar bir eşzamanlılık yuvasını meşgul eder.

BroadNet Inference’ta

BroadNet, https://inference.broadnet.ai/v1/chat/completions üzerinde standart chat completions akış yapısını kullanır; bu yüzden Python ve Node SDK’ları akışı sizin yerinize ayrıştırır. curl ile arabelleğe almayı kapatmak için -N ekleyin:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Akıl yürütme modelleri son kullanım parçasında reasoning_tokens ve cached_tokens değerlerini bildirebilir. Bağlantı [DONE] gelmeden kapanırsa yanıtı eksik sayın, X-Request-ID başlığını kaydedin ve yeni bir isteğin güvenli olup olmadığına karar verin. BroadNet’in belgeleri, üretimde akışa güvenmeden önce onu yayına alacağınız modelde doğrulamanızı söyler. Ayrıntılar akış rehberinde ve hatalar ve yeniden denemeler rehberinde.

Sık yapılan hatalar

  • Kapanan bir bağlantıyı tamamlanmış yanıt saymak. Yalnızca [DONE] tamamlandı demektir.
  • İstemcinin önüne arabelleğe alan bir proxy koymak. Yanıt o zaman tek seferde gelir.

Sık sorulan sorular

Akış modeli hızlandırır mı?

Hayır. Üretim hızı aynıdır. Akış ilk kelimeleri daha erken gösterir; bu yüzden yanıt daha hızlı hissettirir ve kod kısmi çıktı üzerinde işlem yapabilir.

Akışta token kullanımını nasıl alırım?

Chat Completions biçiminde include_usage değeri true olan stream_options gönderin. Bu durumda son parça kullanım bilgisini ve boş bir choices listesini taşır.

Yeniden denenen bir akış iki kez mi ücretlendirilir?

Token başına ücretlendirilen bir anahtarda genellikle evet. Yeniden deneme yeni bir çıkarımdır ve yeniden ücretlendirilir. Token sayacı olmayan sabit fiyatlı bir planda ise yalnızca zamana mal olur.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor