Kullanımdaki LLM kodlarının çoğu tek bir lehçe konuşur: içeri bir mesaj listesi, dışarı tek bir mesaj. Bu lehçe Chat Completions API’dir.
Nasıl çalışır
/v1/chat/completions adresine bir model ve bir messages dizisi içeren JSON’u POST ile gönderirsiniz. Her mesajın bir role değeri (system, user, assistant veya tool) ve bir content değeri vardır. Yanıt bir choices dizisi içerir; her seçim bir message ve üretimin neden bittiğini söyleyen bir finish_reason taşır; ayrıca token sayılarını içeren bir usage bloğu bulunur.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
OpenAI Python SDK’sında aynı çağrı client.chat.completions.create(...) şeklindedir. İsteğe bağlı alanlar çıktıyı şekillendirir: max_tokens, temperature, stream, tools, response_format ve diğerleri.
API durumsuzdur. OpenAI’nin geçiş rehberi, Chat Completions’ta “conversation state must be managed manually” (çeviri: sohbet durumunun elle yönetilmesi gerektiğini) söyler: geçmişi kodunuz tutar ve her turda yeniden gönderir. OpenAI’nin daha yeni Responses API’si türlendirilmiş öğeler kullanır ve durumu sunucu tarafında taşıyabilir; OpenAI kendi platformundaki yeni projeler için onu önerir, ancak Chat Completions’ın “remains supported” (çeviri: desteklenmeye devam ettiğini) belirtir.
Neden önemli
- Taşınabilirlik. Bir OpenAI uyumlu API genellikle bu uç nokta anlamına gelir. Sağlayıcı değiştirmek çoğu zaman yeni bir base URL, anahtar ve model adından ibarettir.
- Maliyet. Tüm geçmiş yeniden gönderildiği için girdi token’ları her turda artar. Uzun sohbetleri kırpın veya özetleyin.
- Alan farklılıkları. Uyumlu sağlayıcıların hepsi her OpenAI alanını kabul etmez. Bilinmeyen alanlar yok sayılabilir veya reddedilebilir; bu yüzden bağımlı olduğunuz alanları test edin.
BroadNet Inference’ta
BroadNet sohbeti https://inference.broadnet.ai/v1 üzerinde POST /v1/chat/completions ile sunar: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Gemma 4 VL 26B için. Akış stream=true kullanır ve data: [DONE] ile biter. Araç çağırma ve yapılandırılmış çıktı yalnızca GLM 5.3 ve Qwen3.8 27B için belgelenmiştir. BroadNet’in API referansı bir Responses uç noktası belgelemez; bu yüzden Chat Completions kullanın. curl hızlı başlangıç veya Python SDK rehberiyle başlayın.
Sık yapılan hatalar
- Yalnızca en son kullanıcı mesajını gönderip modelin sohbeti hatırlamasını beklemek.
- Yalnızca OpenAI’ye özgü alanları, referansını kontrol etmeden başka bir sağlayıcıya kopyalamak.