Akış (streaming), bir ajanın veya sohbet arayüzünün yanıtı üretildiği anda göstermesini sağlar. BroadNet Inference standart chat completions akış yapısını kullanır; bu yüzden ayrıştırmayı OpenAI Python SDK ve OpenAI Node SDK sizin yerinize yapar.
curl ile
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N curl’ün arabelleğe almasını kapatır, -D ise X-Request-ID dahil başlıkları kaydeder.
Akış neye benzer?
Yanıt bir Server-Sent Events akışıdır. WHATWG HTML standardına göre her olay, bir veya daha fazla data: satırı ve ardından gelen boş bir satırdan oluşur; iki nokta üst üste ile başlayan satır ise yok sayabileceğiniz bir yorumdur. Her data: satırı bir JSON parçası taşır ve metin choices[0].delta.content alanında gelir.
Kurallar
- Birebir
data: [DONE]satırına kadar olayları okuyun, ardından okuyucuyu kapatın. stream_options: {"include_usage": true}ile[DONE]satırından hemen önce fazladan bir parça gelir. Bu parça isteğin tamamı içinusagebilgisini ve boş birchoiceslistesini taşır; bu yüzden indekslemeden öncechoicesalanını kontrol edin.- Model raporladığında bu kullanım bilgisi
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B önce akıl yürütür) veprompt_tokens_details.cached_tokensalanlarını içerir. Önbellekli token’lar daha düşük önbellekli girdi fiyatıyla faturalandırılır.
Python SDK ile
Koddaki son satırda usage değerinin None kalması, akışın kullanım parçasından önce bittiği anlamına gelir.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK sizin için [DONE] satırına kadar okur. Aynı döngünün JavaScript hâli OpenAI Node SDK rehberinde.
Akış erken biterse
Bağlantı [DONE] gelmeden kapanırsa yanıt eksiktir. BroadNet’in önerisi:
X-Request-IDdeğerini kaydedin;- uygulamanızın güvenle yeni bir istek yapıp yapamayacağına karar verin. Yeniden deneme yeni bir çıkarımdır ve kullandıkça öde modelinde yeniden faturalandırılır.
Sınırsız plandaki ajanlar için yeniden denemeler ek ücrete yol açmaz, ancak çalıştıkları süre boyunca oturumu meşgul eder.
BroadNet’in belgeleri, üretimde akışa güvenmeden önce her model için sürüm doğrulamasının hâlâ gerekli olduğunu söyler; bu yüzden akışı, ürününüzde kullanacağınız model üzerinde test edin.
Sorun giderme
- Her şey en sonda yazdırılıyor. curl için
-Ngerekir. Kendi proxy’nizin arkasındaysanıztext/event-streamiçin yanıt arabelleğini kapatın. - Son parçada
IndexErrorveyaundefined. Kullanım parçasındakichoiceslistesi boştur.[0]okumadan öncechunk.choicesalanını kontrol edin. - Hiç kullanım bilgisi yok.
stream_optionsgöndermediniz ya da akış son parçadan önce koptu. - Akış az metinle ve
finish_reasonlengthile duruyor. Bir akıl yürütme modelimax_tokensbütçesini akıl yürütmeye harcadı. Bkz. akıl yürütme modelleri neden boş yanıt döndürür. - Paralel akışlarda 429. Açık her akış, işlemdeki bir istek sayılır; kullandıkça öde anahtarı 4 isteğe izin verir. Bkz. BroadNet hata kodları ve yeniden denemeler.
