اگر آپ Chat Completions استعمال کرتے ہیں تو کسی ایپ کو OpenAI سے OpenAI سے مطابقت رکھنے والے فراہم کنندہ پر لے جانا کوڈ کی چھوٹی سی تبدیلی ہے، اور اگر Responses API استعمال کرتے ہیں تو دوبارہ لکھنا پڑتا ہے۔ یہ پوسٹ Python، Node اور cURL میں عین diffs دکھاتی ہے، بتاتی ہے کہ Responses، ٹولز، اسٹرکچرڈ آؤٹ پٹ اور embeddings کے ساتھ کیا کریں، اور ایک اسموک ٹیسٹ دیتی ہے جو کوئی بھی ٹریفک منتقل کرنے سے پہلے چلانا چاہیے۔ مثالوں میں https://inference.broadnet.ai/v1 پر BroadNet Inference استعمال ہوا ہے؛ یہی مراحل کسی بھی فراہم کنندہ پر لاگو ہوتے ہیں۔
یہ منتقلی کی چیک لسٹ کا کوڈ والا ساتھی ہے، جو ریٹ لمٹس، ایررز اور منتقلی کی منصوبہ بندی بیان کرتی ہے۔ دوسرے فراہم کنندگان کے base URLs کے لیے OpenAI سے مطابقت رکھنے والے base URLs، جانچے ہوئے دیکھیں۔
کلائنٹ سیٹ اپ میں کیا بدلتا ہے؟
تین قدریں: base URL، API کلید اور ماڈل ID۔
Python
import os
from openai import OpenAI
# before: client = OpenAI() # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b", # was e.g. "gpt-..."
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);
cURL
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'
پاتھ پر توجہ دیں: base URL پہلے ہی /v1 پر ختم ہوتا ہے، اس لیے SDK اس میں /chat/completions جوڑتا ہے۔ /v1 دو بار لکھ دینا سب سے عام پہلی غلطی ہے۔
کیا کوڈ چھوئے بغیر منتقلی ہو سکتی ہے؟
جی ہاں، Chat Completions والے کوڈ کے لیے۔ جب کوئی base_url نہیں دیا جاتا تو Python SDK OPENAI_BASE_URL پڑھتا ہے، اور Node کلائنٹ کا baseURL پہلے سے process.env['OPENAI_BASE_URL'] ہوتا ہے۔ دونوں OPENAI_API_KEY پڑھتے ہیں۔ دو ماحولیاتی متغیرات سیٹ کرنے سے ہر کال منتقل ہو جاتی ہے۔
خطرہ بھی یہی ہے۔ ہر کال منتقل ہوتی ہے، embeddings، moderation، فائل اپ لوڈز اور ہر اس چیز سمیت جو شاید نئے فراہم کنندہ کے پاس نہ ہو۔ ماحول والا طریقہ صرف تب استعمال کریں جب آپ کی ایپ چیٹ کالز کے سوا کچھ نہیں کرتی۔
اگر میرا کوڈ Responses API استعمال کرتا ہے تو؟
OpenAI کے SDK README اب Responses API کو بنیادی API کہتے ہیں؛ Python README، Chat Completions کو “the previous standard (supported indefinitely)” (ترجمہ: پچھلا معیار (غیر معینہ مدت تک سپورٹڈ)) کہتا ہے۔ کئی مطابقت رکھنے والے فراہم کنندگان صرف Chat Completions نافذ کرتے ہیں۔ BroadNet، POST /v1/chat/completions اور POST /v1/audio/transcriptions دستاویز کرتا ہے، اس لیے Responses کالز دوبارہ لکھنی ہوں گی۔ نقشہ:
| Responses API | Chat Completions |
|---|---|
client.responses.create(...) |
client.chat.completions.create(...) |
instructions="..." |
پہلا پیغام {"role": "system", "content": "..."} |
input="..." یا آئٹمز کی فہرست |
messages=[...] |
response.output_text |
response.choices[0].message.content |
max_output_tokens |
max_tokens (BroadNet کی دستاویزات) یا max_completion_tokens |
text={"format": {...}} |
response_format={...} |
previous_response_id، conversations |
پوری پیغامات کی تاریخ خود دوبارہ بھیجیں |
ٹول {"type": "function", "name": ...} |
ٹول {"type": "function", "function": {"name": ...}} |
آؤٹ پٹ آئٹم function_call، جواب function_call_output اور call_id کے ساتھ |
message.tool_calls، جواب role tool اور tool_call_id کے ساتھ |
| بلٹ اِن ٹولز (ویب سرچ، فائل سرچ) | دستیاب نہیں؛ اپنا ٹول چلائیں |
ایک سادہ کال کی پہلے اور بعد کی شکل:
# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text
# After: Chat Completions
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "system", "content": "Be brief."},
{"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content
سب سے بڑی ساختی تبدیلی اسٹیٹ کی ہے۔ Responses، previous_response_id سے گفتگو کا اسٹیٹ OpenAI کی طرف رکھ سکتا ہے۔ Chat Completions میں سرور پر کوئی اسٹیٹ نہیں ہوتا، اس لیے آپ کا کوڈ پیغامات کی فہرست محفوظ کرتا ہے اور ہر ٹرن پر پوری فہرست بھیجتا ہے۔ اس کا بجٹ رکھیں: پوری تاریخ ہر کال پر ان پٹ ٹوکن ہے۔
ٹول کالز کیسے بدلتی ہیں؟
Chat Completions میں ٹول ڈیفینیشن فنکشن کو function key کے اندر نیسٹ کرتی ہے، اور جواب tool پیغام کے طور پر واپس جاتا ہے:
import json
tools = [{
"type": "function",
"function": {
"name": "get_order",
"description": "Look up an order by ID.",
"parameters": {"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"]},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg) # keep the assistant turn
for call in msg.tool_calls:
args = json.loads(call.function.arguments) # a JSON string: parse and validate it
messages.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(lookup_order(args["order_id"]))})
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
ساخت سے زیادہ ماڈل اہم ہے۔ BroadNet کی دستاویزات ٹولز صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ ٹول لوپ کو ایسے ماڈل پر نہ لگائیں جس کی دستاویزات میں ٹولز درج نہیں، اور کچھ بھی چلانے سے پہلے آرگیومنٹس کی تصدیق کریں۔ اوپن ماڈلز کے ساتھ ٹول کالنگ میں تصدیق والا مکمل لوپ ہے۔
اسٹرکچرڈ آؤٹ پٹ کا کیا؟
client.chat.completions.parse(..., response_format=MyPydanticModel) اور Node کا zodResponseFormat، دونوں JSON schema کے ساتھ response_format بھیجتے ہیں۔ یہ تبھی کام کرتے ہیں جب فراہم کنندہ اس ماڈل پر یہ ساخت قبول کرتا ہو۔ BroadNet، GLM 5.3 اور Qwen3.8 27B کے لیے اسٹرکچرڈ آؤٹ پٹ درج کرتا ہے لیکن درخواست کا پیرامیٹر نہیں بتاتا۔ JSON mode بمقابلہ json_schema والا چار مراحل کا ٹیسٹ ہر ماڈل پر ایک بار چلائیں، اور فراہم کنندہ چاہے جو وعدہ کرے، پارس شدہ نتیجے کی تصدیق جاری رکھیں۔
embeddings کا کیا ہوتا ہے؟
اگر آپ کسی مشترکہ کلائنٹ پر base URL بدلتے ہیں اور فراہم کنندہ کے پاس embeddings اینڈپوائنٹ نہیں تو ہر client.embeddings.create کال ناکام ہوگی۔ BroadNet embeddings نہیں بیچتا۔ دو کلائنٹس رکھیں:
chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # or any embeddings provider
vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))
ایک انڈیکس میں دو embedding ماڈلز کے ویکٹرز کبھی نہ ملائیں۔ اگر آپ embedding فراہم کنندہ بھی بدلتے ہیں تو پورے کارپس کو دوبارہ embed کریں۔ embedding لاگت کیلکولیٹر اس کی قیمت نکالتا ہے۔
یہی بات ہر اس چیز پر لاگو ہوتی ہے جو چیٹ نہیں: تصویر بنانا، ٹیکسٹ ٹو اسپیچ، moderation، Batch API اور فائل اسٹوریج۔ BroadNet ان میں سے کچھ نہیں دیتا۔ اسپیچ ٹو ٹیکسٹ ضرور منتقل ہو سکتا ہے: client.audio.transcriptions.create، WAV یا MP3 اور ایک language فیلڈ کے ساتھ /v1/audio/transcriptions پر کام کرتا ہے (عربی اسپیچ ٹو ٹیکسٹ گائیڈ)۔
اسٹریمنگ کوڈ کیسے بدلتا ہے؟
Responses API ٹائپ شدہ ایونٹس اسٹریم کرتا ہے، جیسے response.output_text.delta اور response.completed۔ Chat Completions چنکس اسٹریم کرتا ہے، اور متن choices[0].delta.content میں ہوتا ہے۔ usage تب تک نہیں بھیجا جاتا جب تک آپ اسے نہ مانگیں، اور پھر وہ خالی choices فہرست والے آخری چنک میں آتا ہے۔
// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Count from one to three." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens); // last chunk
}
منتقلی کے بعد دو عادتیں اسٹریم کوڈ کو محفوظ رکھتی ہیں۔ choices[0] کی جانچ کریں، کیونکہ usage والے چنک میں کوئی choice نہیں ہوتا۔ اور جو اسٹریم آخری data: [DONE] لائن سے پہلے ختم ہو جائے، اسے نامکمل سمجھیں؛ BroadNet کی دستاویزات کہتی ہیں کہ X-Request-ID ریکارڈ کریں اور طے کریں کہ نئی درخواست محفوظ ہے یا نہیں۔ اسٹریمنگ chat completions میں Python میں مکمل طریقہ ہے۔
کیا ایرر ہینڈلنگ اور دوبارہ کوششیں بدلتی ہیں؟
SDK کی ایرر کلاسز وہی رہتی ہیں: 401 کے لیے AuthenticationError، 429 کے لیے RateLimitError، باقی کے لیے APIStatusError۔ بدلتا یہ ہے کہ نئے فراہم کنندہ پر ہر اسٹیٹس کا مطلب کیا ہے۔ BroadNet پر 401 کا مطلب صرف غلط کلید نہیں، استعمال کے مطابق ادائیگی کا ختم شدہ الاؤنس بھی ہو سکتا ہے، اور 402 کا مطلب ہے کسی خریداری کے لیے ناکافی بیلنس۔ دونوں میں سے کوئی دوبارہ کوشش سے ٹھیک نہیں ہوتا۔ 429 ریٹ، بیک وقت درخواستوں، ٹوکن ریٹ یا خرچ کی حد سے آ سکتا ہے۔ 429 اور 5xx پر بیک آف کے ساتھ دوبارہ کوشش کریں، اور باقی سب درست کریں۔ ایررز اور دوبارہ کوشش کی گائیڈ میں مکمل ٹیبل ہے۔
SDK کنکشن ایررز، 408، 409، 429 اور 5xx پر پہلے سے دو بار دوبارہ کوشش کرتا ہے۔ اگر آپ اپنا دوبارہ کوشش کا لوپ شامل کرتے ہیں تو کلائنٹ پر max_retries=0 سیٹ کریں تاکہ دونوں ایک دوسرے پر نہ چڑھیں۔
کون سے پیرامیٹرز مختلف رویہ رکھتے ہیں؟
| پیرامیٹر | کیا جانچیں |
|---|---|
max_tokens / max_completion_tokens |
OpenAI، max_tokens کو فرسودہ کرتا ہے؛ BroadNet کی دستاویزات اسے استعمال کرتی ہیں۔ ریزننگ ماڈلز پر اس میں سوچ شامل ہوتی ہے، اس لیے چھوٹی قدریں خالی جواب لوٹاتی ہیں (کیوں) |
reasoning_effort |
BroadNet low دستاویز کرتا ہے؛ دوسری قدروں پر انحصار سے پہلے انہیں ٹیسٹ کریں |
stream_options: {"include_usage": true} |
BroadNet نے دستاویز کیا ہے؛ usage آخری چنک میں آتا ہے |
n، logprobs، seed، logit_bias |
BroadNet کی دستاویزات میں نہیں؛ ٹیسٹ کریں، یا ہٹا دیں |
store، metadata |
OpenAI کے اسٹوریج فیچرز؛ انہیں ہٹا دیں |
image_url مواد کے حصے |
صرف تصاویر والے ماڈلز پر: DeepSeek V4.1 Flash، Qwen3.8 27B، Gemma 4 VL 26B |
منتقلی کو کیسے ٹیسٹ کریں؟
کوئی بھی ٹریفک منتقل کرنے سے پہلے نئے فراہم کنندہ پر ایک مختصر اسموک ٹیسٹ چلائیں۔ یہ سادہ چیٹ، اسٹریمنگ usage، ریزننگ بجٹ اور تصدیقِ شناخت جانچتا ہے۔ اگر آپ ٹولز استعمال کرتے ہیں تو ایک ٹول کال کیس شامل کریں۔
import os, openai
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]
# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0
# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
stream_options={"include_usage": True}))
assert chunks[-1].usage is not None
# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content
# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
bad.chat.completions.create(model=FAST, messages=msg)
raise AssertionError("expected 401")
except openai.AuthenticationError:
pass
print("smoke test passed")
پھر صرف ساخت کا نہیں، معیار کا موازنہ کریں۔ حقیقی پرامپٹس کا ایک نمونہ دونوں فراہم کنندگان پر دوبارہ چلائیں اور جوابات کو اسکور کریں؛ بدلنے سے پہلے LLM کی جانچ اس کا طریقہ بتاتا ہے۔ OpenAI سے BroadNet منتقلی کا ٹول کسی اسنیپٹ کو دوبارہ لکھنے میں مدد کرتا ہے اور بتاتا ہے کہ وہ کون سے فیچرز استعمال کرتا ہے۔
سب سے زیادہ کیا ٹوٹتا ہے؟
- گلوبل base URL، جو embeddings اور فائل کالز کو بھی منتقل کر دیتا ہے۔
- صرف Responses والے ہیلپرز، جیسے
output_text، جو اس کوڈ میں رہ گئے جو اب Chat Completions کال کرتا ہے۔ - ماڈل IDs۔
gpt-...نام دوسری جگہ موجود نہیں۔ BroadNet پر وہbroadnet/glm-5.3جیسے نظر آتے ہیں۔ - خالی جواب، چھوٹے
max_tokensوالے ریزننگ ماڈلز سے۔ - ریٹ لمٹس۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ بڑی جابز کو قطار چاہیے (429 سے نمٹنا)۔
BroadNet Inference کہاں موزوں ہے
BroadNet Inference ان ایپس کے لیے موزوں ہے جن کا OpenAI استعمال چیٹ اور ٹرانسکرپشن ہے: اسسٹنٹس، ایکسٹریکشن، خلاصہ، ترجمہ اور عربی اسپیچ۔ یہ ان ایپس کے لیے بھی موزوں ہے جو ایجنٹس کے لیے مقررہ قیمت والے DeepSeek V4.1 Flash پلانز چاہتی ہیں۔ اگر آپ Responses API کے سرور سائیڈ اسٹیٹ، بلٹ اِن ٹولز، embeddings، تصویر بنانے، ٹیکسٹ ٹو اسپیچ، ریئل ٹائم وائس یا Batch API پر انحصار کرتے ہیں تو یہ درست منزل نہیں۔ انہیں ان فراہم کنندگان پر لے جائیں جو یہ پیش کرتے ہیں، یا انہیں OpenAI پر رہنے دیں اور صرف چیٹ کالز منتقل کریں۔ Gemma 4 VL 26B اور دونوں ٹرانسکرپشن ماڈلز $5 کے ابتدائی کریڈٹ پر چلتے ہیں؛ GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے پہلے ٹاپ اپ ضروری ہے۔
