बाहर चल रहा ज़्यादातर LLM कोड एक ही बोली बोलता है: मैसेज की सूची अंदर, एक मैसेज बाहर। यही बोली Chat Completions API है।
यह कैसे काम करता है
आप /v1/chat/completions पर एक model और messages array के साथ JSON को POST करते हैं। हर मैसेज में एक role (system, user, assistant या tool) और content होता है। जवाब में एक choices array होता है; हर choice में एक message और एक finish_reason होता है जो बताता है कि जनरेशन क्यों रुका, साथ में टोकन गिनती वाला usage ब्लॉक।
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
OpenAI Python SDK में यही कॉल client.chat.completions.create(...) है। वैकल्पिक फ़ील्ड आउटपुट को आकार देते हैं: max_tokens, temperature, stream, tools, response_format और दूसरे।
यह API stateless है। OpenAI की माइग्रेशन गाइड कहती है कि Chat Completions में “conversation state must be managed manually” (अनुवाद: बातचीत की स्थिति ख़ुद संभालनी पड़ती है): आपका कोड हिस्ट्री रखता है और हर टर्न में उसे दोबारा भेजता है। OpenAI का नया Responses API typed items इस्तेमाल करता है और स्थिति सर्वर पर रख सकता है। OpenAI अपने प्लेटफ़ॉर्म पर नए प्रोजेक्ट के लिए उसी की सलाह देता है, लेकिन कहता है कि Chat Completions “remains supported” (अनुवाद: सपोर्टेड रहेगा)।
यह क्यों मायने रखता है
- पोर्टेबिलिटी. OpenAI-कम्पैटिबल API का मतलब आम तौर पर यही एंडपॉइंट होता है। प्रोवाइडर बदलना अक्सर बस नया base URL, key और मॉडल नाम होता है।
- लागत. पूरी हिस्ट्री दोबारा भेजी जाती है, इसलिए हर टर्न के साथ इनपुट टोकन बढ़ते हैं। लंबी चैट को छोटा करें या उसका सारांश बनाएँ।
- फ़ील्ड में फ़र्क़. सभी कम्पैटिबल प्रोवाइडर OpenAI का हर फ़ील्ड स्वीकार नहीं करते। अनजान फ़ील्ड को अनदेखा या रिजेक्ट किया जा सकता है, इसलिए जिन फ़ील्ड पर आप निर्भर हैं, उन्हें टेस्ट करें।
BroadNet Inference पर
BroadNet चैट को https://inference.broadnet.ai/v1 पर POST /v1/chat/completions से देता है, DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B और Gemma 4 VL 26B के लिए। स्ट्रीमिंग stream=true से चलती है और data: [DONE] पर ख़त्म होती है। टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए डॉक्यूमेंटेड हैं। BroadNet का API रेफ़रंस कोई Responses एंडपॉइंट डॉक्यूमेंट नहीं करता, इसलिए Chat Completions इस्तेमाल करें। curl क्विकस्टार्ट या Python SDK गाइड से शुरू करें।
आम ग़लतियाँ
- सिर्फ़ आख़िरी यूज़र मैसेज भेजना और उम्मीद करना कि मॉडल बातचीत याद रखेगा।
- किसी दूसरे प्रोवाइडर का रेफ़रंस देखे बिना सिर्फ़ OpenAI वाले फ़ील्ड वहाँ कॉपी कर देना।