Memindahkan aplikasi dari OpenAI ke penyedia serasi OpenAI ialah perubahan kod yang kecil jika anda menggunakan Chat Completions, dan penulisan semula jika anda menggunakan Responses API. Artikel ini menunjukkan perbezaan kod yang tepat dalam Python, Node dan cURL, apa yang perlu dibuat tentang Responses, tools, output berstruktur dan embeddings, serta ujian asap untuk dijalankan sebelum anda memindahkan sebarang trafik. Contoh menggunakan BroadNet Inference di https://inference.broadnet.ai/v1; langkah yang sama terpakai untuk mana-mana penyedia.
Ini ialah pasangan kod kepada senarai semak migrasi, yang merangkumi had kadar, ralat dan perancangan pertukaran. Untuk base URL penyedia lain, lihat base URL serasi OpenAI, disemak.
Apakah yang berubah dalam persediaan klien?
Tiga nilai: base URL, kunci API dan ID model.
Python
import os
from openai import OpenAI
# before: client = OpenAI() # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b", # was e.g. "gpt-..."
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);
cURL
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'
Perhatikan laluannya: base URL sudah berakhir dengan /v1, jadi SDK menambah /chat/completions. Menggandakan /v1 ialah ralat pertama yang paling biasa.
Bolehkah saya bertukar tanpa menyentuh kod?
Boleh, untuk kod Chat Completions. SDK Python membaca OPENAI_BASE_URL apabila tiada base_url dihantar, dan klien Node menetapkan baseURL secara lalai kepada process.env['OPENAI_BASE_URL']. Kedua-duanya membaca OPENAI_API_KEY. Menetapkan dua pembolehubah persekitaran memindahkan setiap panggilan.
Itu juga risikonya. Setiap panggilan berpindah, termasuk embeddings, moderasi, muat naik fail dan apa-apa lagi yang mungkin tiada pada penyedia baharu. Gunakan pertukaran persekitaran hanya apabila aplikasi anda membuat panggilan chat dan tiada yang lain.
Bagaimana jika kod saya menggunakan Responses API?
README SDK OpenAI kini memanggil Responses API sebagai API utama; README Python memanggil Chat Completions “the previous standard (supported indefinitely)” (Terjemahan: standard sebelumnya (disokong selama-lamanya)). Banyak penyedia serasi hanya melaksanakan Chat Completions. BroadNet mendokumenkan POST /v1/chat/completions dan POST /v1/audio/transcriptions, jadi panggilan Responses perlu ditulis semula. Pemetaannya:
| Responses API | Chat Completions |
|---|---|
client.responses.create(...) |
client.chat.completions.create(...) |
instructions="..." |
Mesej pertama {"role": "system", "content": "..."} |
input="..." atau senarai item |
messages=[...] |
response.output_text |
response.choices[0].message.content |
max_output_tokens |
max_tokens (dokumentasi BroadNet) atau max_completion_tokens |
text={"format": {...}} |
response_format={...} |
previous_response_id, perbualan |
Hantar semula sendiri keseluruhan sejarah mesej |
Tool {"type": "function", "name": ...} |
Tool {"type": "function", "function": {"name": ...}} |
Item output function_call, balas dengan function_call_output dan call_id |
message.tool_calls, balas dengan peranan tool dan tool_call_id |
| Tools terbina dalam (carian web, carian fail) | Tidak tersedia; jalankan tool anda sendiri |
Sebelum dan selepas untuk panggilan mudah:
# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text
# After: Chat Completions
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "system", "content": "Be brief."},
{"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content
Perubahan struktur yang paling besar ialah keadaan. Responses boleh menyimpan keadaan perbualan di sebelah OpenAI dengan previous_response_id. Chat Completions tiada keadaan di sebelah pelayan, jadi kod anda menyimpan senarai mesej dan menghantar kesemuanya pada setiap giliran. Ambil kira dalam bajet: keseluruhan sejarah ialah token input pada setiap panggilan.
Bagaimanakah panggilan tool berubah?
Dalam Chat Completions, definisi tool menyarangkan fungsi di bawah kunci function, dan jawapan dihantar balik sebagai mesej tool:
import json
tools = [{
"type": "function",
"function": {
"name": "get_order",
"description": "Look up an order by ID.",
"parameters": {"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"]},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg) # keep the assistant turn
for call in msg.tool_calls:
args = json.loads(call.function.arguments) # a JSON string: parse and validate it
messages.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(lookup_order(args["order_id"]))})
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
Model lebih penting daripada bentuknya. Dokumentasi BroadNet menyenaraikan tools untuk GLM 5.3 dan Qwen3.8 27B sahaja. Jangan halakan gelung tool kepada model yang dokumentasinya tidak menyenaraikan tools, dan sahkan argumen sebelum menjalankan apa-apa. Panggilan tool dengan model terbuka ada gelung pengesahan yang lengkap.
Bagaimana pula dengan output berstruktur?
client.chat.completions.parse(..., response_format=MyPydanticModel) dan zodResponseFormat Node kedua-duanya menghantar response_format dengan skema JSON. Ia hanya berfungsi jika penyedia menerima bentuk itu pada model tersebut. BroadNet menyenaraikan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B tetapi tidak menamakan parameter permintaan. Jalankan ujian empat langkah dalam JSON mode vs json_schema sekali bagi setiap model, dan teruskan mengesahkan hasil yang dihuraikan walau apa pun yang dijanjikan penyedia.
Apakah yang berlaku pada embeddings?
Jika anda menukar base URL pada klien yang dikongsi dan penyedia tiada endpoint embeddings, setiap panggilan client.embeddings.create gagal. BroadNet tidak menjual embeddings. Kekalkan dua klien:
chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # or any embeddings provider
vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))
Jangan sekali-kali mencampurkan vektor daripada dua model embedding dalam satu indeks. Jika anda juga menukar penyedia embedding, jana semula embedding untuk keseluruhan korpus. Kalkulator kos embedding mengira kosnya.
Perkara yang sama terpakai untuk apa-apa yang bukan chat: penjanaan imej, teks ke pertuturan, moderasi, Batch API dan storan fail. BroadNet tidak menawarkan satu pun daripadanya. Speech-to-text boleh dipindahkan: client.audio.transcriptions.create berfungsi dengan /v1/audio/transcriptions menggunakan WAV atau MP3 dan medan language (panduan speech-to-text bahasa Arab).
Bagaimanakah kod penstriman berubah?
Responses API menstrim peristiwa berjenis, seperti response.output_text.delta dan response.completed. Chat Completions menstrim cebisan, dan teksnya berada dalam choices[0].delta.content. Usage tidak dihantar melainkan anda memintanya, dan kemudian ia tiba dalam cebisan terakhir dengan senarai choices yang kosong.
// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Count from one to three." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens); // last chunk
}
Dua tabiat memastikan kod strim selamat selepas bertukar. Lindungi choices[0], kerana cebisan usage tiada choices. Dan anggap strim yang tamat sebelum baris akhir data: [DONE] sebagai tidak lengkap; dokumentasi BroadNet menyatakan untuk merekodkan X-Request-ID dan memutuskan sama ada permintaan baharu selamat. Penstriman chat completions ada corak penuh dalam Python.
Adakah pengendalian ralat dan cuba semula berubah?
Kelas ralat SDK kekal sama: AuthenticationError untuk 401, RateLimitError untuk 429, APIStatusError untuk yang lain. Yang berubah ialah maksud setiap status di penyedia baharu. Di BroadNet, 401 boleh bermaksud elaun bayar ikut guna sudah habis, bukan hanya kunci yang salah, dan 402 bermaksud baki tidak mencukupi untuk pembelian. Kedua-duanya tidak pulih dengan cuba semula. 429 boleh datang daripada had kadar, keserentakan, kadar token atau perbelanjaan. Cuba semula 429 dan 5xx dengan backoff, dan betulkan yang lain. Panduan ralat dan cuba semula ada jadual penuh.
SDK mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai. Jika anda menambah gelung cuba semula sendiri, tetapkan max_retries=0 pada klien supaya kedua-duanya tidak bertindih.
Parameter manakah yang berkelakuan berbeza?
| Parameter | Apa yang perlu disemak |
|---|---|
max_tokens / max_completion_tokens |
OpenAI menamatkan max_tokens; dokumentasi BroadNet menggunakannya. Pada model penaakulan ia termasuk pemikiran, jadi nilai kecil memulangkan jawapan kosong (sebabnya) |
reasoning_effort |
BroadNet mendokumenkan low; uji nilai lain sebelum bergantung padanya |
stream_options: {"include_usage": true} |
Didokumenkan oleh BroadNet; usage tiba dalam cebisan terakhir |
n, logprobs, seed, logit_bias |
Tiada dalam dokumentasi BroadNet; uji, atau buang |
store, metadata |
Ciri storan OpenAI; gugurkan |
Bahagian kandungan image_url |
Hanya pada model yang disenaraikan dengan imej: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B |
Bagaimanakah menguji pertukaran?
Jalankan ujian asap yang ringkas terhadap penyedia baharu sebelum sebarang trafik dipindahkan. Ujian ini menyemak chat biasa, usage penstriman, bajet penaakulan dan pengesahan. Tambah kes panggilan tool jika anda menggunakan tools.
import os, openai
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]
# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0
# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
stream_options={"include_usage": True}))
assert chunks[-1].usage is not None
# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content
# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
bad.chat.completions.create(model=FAST, messages=msg)
raise AssertionError("expected 401")
except openai.AuthenticationError:
pass
print("smoke test passed")
Kemudian bandingkan kualiti, bukan sekadar bentuk. Mainkan semula sampel prompt sebenar pada kedua-dua penyedia dan beri skor kepada jawapannya; nilai LLM sebelum bertukar menunjukkan caranya. Alat migrasi OpenAI ke BroadNet membantu anda menulis semula snippet dan menyenaraikan ciri yang digunakannya.
Apakah yang paling kerap rosak?
- Base URL global yang turut memindahkan panggilan embeddings dan fail.
- Pembantu khusus Responses seperti
output_textyang tertinggal dalam kod yang kini memanggil Chat Completions. - ID model. Nama
gpt-...tidak wujud di tempat lain. Di BroadNet ia kelihatan sepertibroadnet/glm-5.3. - Jawapan kosong daripada model penaakulan dengan
max_tokensyang kecil. - Had kadar. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak. Kerja pukal memerlukan baris gilir (pengendalian 429).
Di manakah BroadNet Inference sesuai
BroadNet Inference sesuai untuk aplikasi yang penggunaan OpenAInya ialah chat dan transkripsi: pembantu, pengekstrakan, peringkasan, terjemahan dan pertuturan bahasa Arab. Ia juga sesuai untuk aplikasi yang mahukan pelan kadar tetap DeepSeek V4.1 Flash untuk ejen. Ia bukan sasaran yang tepat jika anda bergantung pada keadaan sebelah pelayan Responses API, tools terbina dalam, embeddings, penjanaan imej, teks ke pertuturan, suara masa nyata atau Batch API. Pindahkan semua itu ke penyedia yang menawarkannya, atau kekalkannya di OpenAI dan pindahkan panggilan chat sahaja. Gemma 4 VL 26B dan kedua-dua model transkripsi berjalan pada kredit permulaan $5; GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai terlebih dahulu.
