BroadRouter
Başlayın

OpenAI API'den geçiş: Python, Node ve cURL ile adım adım kod

BroadNet Inference ekibi · 6 dk okuma · Yayımlandı

İstemcinin base URL'sini, API anahtarını ve model kimliğini değiştirin; Chat Completions çağrıları için bu yeterlidir. Responses API üzerindeki kod ise Chat Completions'a yeniden yazılmalıdır: input messages olur, output_text choices[0].message.content olur ve araçlar bir seviye daha iç içe tanımlanır. Yeni sağlayıcıda embedding yoksa embedding'leri ayrı bir istemcide tutun, ardından trafiği geçirmeden önce bir duman testi çalıştırın.

Bir uygulamayı OpenAI’dan OpenAI uyumlu bir sağlayıcıya taşımak, Chat Completions kullanıyorsanız küçük bir kod değişikliği, Responses API kullanıyorsanız bir yeniden yazımdır. Bu yazı Python, Node ve cURL’deki birebir farkları; Responses, araçlar, yapılandırılmış çıktı ve embedding’lerle ilgili ne yapmanız gerektiğini ve herhangi bir trafiği taşımadan önce çalıştırmanız gereken bir duman testini (smoke test) gösteriyor. Örneklerde https://inference.broadnet.ai/v1 adresindeki BroadNet Inference kullanılıyor; aynı adımlar her sağlayıcı için geçerlidir.

Bu yazı, hız sınırlarını, hataları ve geçiş planlamasını ele alan geçiş kontrol listesinin kod tarafındaki tamamlayıcısıdır. Diğer sağlayıcıların base URL’leri için kontrol edilmiş OpenAI uyumlu base URL’ler yazısına bakın.

İstemci kurulumunda ne değişir?

Üç değer: base URL, API anahtarı ve model kimliği.

Python

import os
from openai import OpenAI

# before: client = OpenAI()  # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",          # was e.g. "gpt-..."
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);

cURL

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'

Yola dikkat edin: base URL zaten /v1 ile biter, SDK da sonuna /chat/completions ekler. /v1’i iki kez yazmak en sık yapılan ilk hatadır.

Koda dokunmadan geçiş yapabilir miyim?

Chat Completions kodu için evet. Python SDK’sı base_url verilmediğinde OPENAI_BASE_URL değerini okur; Node istemcisi de baseURL için varsayılan olarak process.env['OPENAI_BASE_URL'] kullanır. İkisi de OPENAI_API_KEY değerini okur. İki ortam değişkenini ayarlamak her çağrıyı taşır.

Risk de tam olarak budur. Embedding, moderasyon, dosya yükleme ve yeni sağlayıcıda olmayabilecek her şey dahil her çağrı taşınır. Ortam değişkeniyle geçişi yalnızca uygulamanız sohbet çağrısından başka bir şey yapmıyorsa kullanın.

Kodum Responses API kullanıyorsa ne olacak?

OpenAI’ın SDK README dosyaları artık Responses API’yi birincil API olarak tanımlıyor; Python README’si Chat Completions için “the previous standard (supported indefinitely)” (BroadRouter çevirisi: “önceki standart (süresiz olarak destekleniyor)”) diyor. Birçok uyumlu sağlayıcı yalnızca Chat Completions’ı uygular. BroadNet POST /v1/chat/completions ve POST /v1/audio/transcriptions uç noktalarını belgeler; bu yüzden Responses çağrılarının yeniden yazılması gerekir. Eşleştirme:

Responses API Chat Completions
client.responses.create(...) client.chat.completions.create(...)
instructions="..." İlk mesaj {"role": "system", "content": "..."}
input="..." veya bir öğe listesi messages=[...]
response.output_text response.choices[0].message.content
max_output_tokens max_tokens (BroadNet’in belgeleri) veya max_completion_tokens
text={"format": {...}} response_format={...}
previous_response_id, konuşmalar Mesaj geçmişinin tamamını kendiniz yeniden gönderin
Araç {"type": "function", "name": ...} Araç {"type": "function", "function": {"name": ...}}
Çıktı öğesi function_call, yanıt function_call_output ve call_id ile message.tool_calls, yanıt tool rolü ve tool_call_id ile
Yerleşik araçlar (web araması, dosya araması) Mevcut değil; kendi aracınızı çalıştırın

Basit bir çağrının öncesi ve sonrası:

# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text

# After: Chat Completions
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "system", "content": "Be brief."},
              {"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content

En büyük yapısal değişiklik durumdur (state). Responses, previous_response_id ile konuşma durumunu OpenAI tarafında tutabilir. Chat Completions’ta sunucu tarafında durum yoktur; bu yüzden mesaj listesini kodunuz saklar ve her turda tamamını gönderir. Bunu bütçenize katın: geçmişin tamamı her çağrıda girdi tokenı olarak sayılır.

Araç çağrıları nasıl değişir?

Chat Completions’ta bir araç tanımı fonksiyonu bir function anahtarının altına yerleştirir ve yanıt bir tool mesajı olarak geri gider:

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order",
        "description": "Look up an order by ID.",
        "parameters": {"type": "object",
                       "properties": {"order_id": {"type": "string"}},
                       "required": ["order_id"]},
    },
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
    messages.append(msg)                                   # keep the assistant turn
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)         # a JSON string: parse and validate it
        messages.append({"role": "tool", "tool_call_id": call.id,
                         "content": json.dumps(lookup_order(args["order_id"]))})
    r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)

Model, yapıdan daha önemlidir. BroadNet’in belgeleri araçları yalnızca GLM 5.3 ve Qwen3.8 27B için listeler. Belgelerinde araç listelenmeyen bir modele araç döngüsü yönlendirmeyin ve herhangi bir şeyi çalıştırmadan önce argümanları doğrulayın. Açık modellerle araç çağırma yazısında doğrulama yapan eksiksiz bir döngü var.

Yapılandırılmış çıktı ne olacak?

client.chat.completions.parse(..., response_format=MyPydanticModel) ve Node’daki zodResponseFormat, ikisi de JSON şemalı bir response_format gönderir. Yalnızca sağlayıcı o modelde bu yapıyı kabul ediyorsa çalışırlar. BroadNet, GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı listeliyor ama istek parametresinin adını vermiyor. JSON modu ve json_schema yazısındaki dört adımlı testi her model için bir kez çalıştırın ve sağlayıcı ne vaat ederse etsin ayrıştırılan sonucu doğrulamaya devam edin.

Embedding’lere ne olur?

Paylaşılan bir istemcide base URL’yi değiştirirseniz ve sağlayıcının embedding uç noktası yoksa her client.embeddings.create çağrısı başarısız olur. BroadNet embedding satmaz. İki istemci tutun:

chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"])   # or any embeddings provider

vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))

İki farklı embedding modelinin vektörlerini asla tek bir dizinde karıştırmayın. Embedding sağlayıcısını da değiştirirseniz külliyatın tamamını yeniden embedding’e dönüştürün. Bunun maliyetini embedding maliyet hesaplayıcısı çıkarır.

Aynı durum sohbet dışındaki her şey için geçerlidir: görsel üretimi, metinden sese, moderasyon, Batch API ve dosya depolama. BroadNet bunların hiçbirini sunmaz. Konuşmadan metne ise taşınır: client.audio.transcriptions.create, WAV veya MP3 ve bir language alanıyla /v1/audio/transcriptions üzerinde çalışır (Arapça konuşmadan metne rehberi).

Akış (streaming) kodu nasıl değişir?

Responses API, response.output_text.delta ve response.completed gibi tipli olaylar akıtır. Chat Completions ise parçalar (chunk) akıtır ve metin choices[0].delta.content içinde yer alır. Usage siz istemedikçe gönderilmez; istediğinizde de choices listesi boş olan son bir parçada gelir.

// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Count from one to three." }],
  stream: true,
  stream_options: { include_usage: true },
});
for await (const chunk of stream) {
  const text = chunk.choices[0]?.delta?.content;
  if (text) process.stdout.write(text);
  if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens);   // last chunk
}

Geçişten sonra akış kodunu iki alışkanlık güvende tutar. choices[0] erişimini koruma altına alın, çünkü usage parçasında choices yoktur. Son data: [DONE] satırından önce biten bir akışı da eksik kabul edin; BroadNet’in belgeleri X-Request-ID değerini kaydetmenizi ve yeni bir isteğin güvenli olup olmadığına karar vermenizi söylüyor. Python’daki tam kalıp akışlı chat completions rehberinde.

Hata yönetimi ve yeniden denemeler değişir mi?

SDK’nın hata sınıfları aynı kalır: 401 için AuthenticationError, 429 için RateLimitError, geri kalanı için APIStatusError. Değişen, her durum kodunun yeni sağlayıcıda ne anlama geldiğidir. BroadNet’te 401 yalnızca yanlış anahtar değil, tükenmiş bir kullandıkça öde hakkı da olabilir; 402 ise bir satın alma için yetersiz bakiye demektir. İkisi de yeniden denemeyle düzelmez. 429; hız, eşzamanlılık, token hızı veya harcama sınırından gelebilir. 429 ve 5xx hatalarını geri çekilmeyle (backoff) yeniden deneyin, geri kalan her şeyi düzeltin. Tam tablo hatalar ve yeniden denemeler rehberinde.

SDK, bağlantı hatalarını, 408, 409, 429 ve 5xx hatalarını varsayılan olarak iki kez yeniden dener. Kendi yeniden deneme döngünüzü eklerseniz, ikisi üst üste binmesin diye istemcide max_retries=0 ayarlayın.

Hangi parametreler farklı davranır?

Parametre Neyi kontrol etmeli
max_tokens / max_completion_tokens OpenAI max_tokens’ı kullanımdan kaldırıyor; BroadNet’in belgeleri onu kullanıyor. Akıl yürüten modellerde düşünmeyi de içerir; bu yüzden küçük değerler boş yanıt döndürür (neden)
reasoning_effort BroadNet low değerini belgeliyor; diğer değerlere güvenmeden önce test edin
stream_options: {"include_usage": true} BroadNet tarafından belgelenmiş; usage son parçada gelir
n, logprobs, seed, logit_bias BroadNet’in belgelerinde yok; test edin veya kaldırın
store, metadata OpenAI depolama özellikleri; çıkarın
image_url içerik parçaları Yalnızca görsel desteğiyle listelenen modellerde: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B

Geçişi nasıl test edersiniz?

Herhangi bir trafik taşınmadan önce yeni sağlayıcıya karşı kısa bir duman testi çalıştırın. Bu test düz sohbeti, akışta usage bilgisini, akıl yürütme bütçesini ve kimlik doğrulamayı kontrol eder. Araç kullanıyorsanız bir araç çağrısı senaryosu ekleyin.

import os, openai
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]

# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0

# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
                                             stream_options={"include_usage": True}))
assert chunks[-1].usage is not None

# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content

# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
    bad.chat.completions.create(model=FAST, messages=msg)
    raise AssertionError("expected 401")
except openai.AuthenticationError:
    pass
print("smoke test passed")

Ardından yalnızca yapıyı değil, kaliteyi de karşılaştırın. Gerçek istemlerden bir örneklemi iki sağlayıcıda yeniden çalıştırın ve yanıtları puanlayın; nasıl yapılacağını geçiş yapmadan önce bir LLM’i değerlendirme yazısı gösteriyor. OpenAI’dan BroadNet’e geçiş aracı bir kod parçasını yeniden yazmanıza yardım eder ve hangi özellikleri kullandığını listeler.

En sık ne bozulur?

  • Genel bir base URL; embedding ve dosya çağrılarını da taşır.
  • Yalnızca Responses’a özgü yardımcılar; örneğin artık Chat Completions çağıran kodda unutulan output_text.
  • Model kimlikleri. gpt-... adları başka yerlerde yoktur. BroadNet’te broadnet/glm-5.3 gibi görünürler.
  • Boş yanıtlar; küçük bir max_tokens ile akıl yürüten modellerden.
  • Hız sınırları. Bir BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Toplu işler bir kuyruğa ihtiyaç duyar (429 yönetimi).

BroadNet Inference nerede devreye giriyor

BroadNet Inference, OpenAI kullanımı sohbet ve transkripsiyondan oluşan uygulamalara uyar: asistanlar, veri çıkarma, özetleme, çeviri ve Arapça konuşma. Ajanlar için sabit fiyatlı DeepSeek V4.1 Flash planları isteyen uygulamalara da uyar. Responses API’nin sunucu tarafı durumuna, yerleşik araçlara, embedding’e, görsel üretimine, metinden sese, gerçek zamanlı sese veya Batch API’ye bağımlıysanız yanlış hedeftir. Bunları sunan sağlayıcılara taşıyın ya da OpenAI’da bırakıp yalnızca sohbet çağrılarını taşıyın. Gemma 4 VL 26B ve iki transkripsiyon modeli $5 başlangıç kredisiyle çalışır; GLM 5.3, Qwen3.8 27B ve DeepSeek V4.1 Flash için önce bakiye yüklemek gerekir.

Sık sorulan sorular

OpenAI uyumlu bir API kullanmak için farklı bir SDK gerekir mi?

Hayır. Resmi openai paketini koruyun ve farklı bir base_url (Python) veya baseURL (Node) ile yeni sağlayıcının anahtarını verin. Sağlayıcının desteklediği uç noktalarda istek ve yanıt nesneleri aynı kalır.

OpenAI uyumlu API'ler Responses API'yi destekliyor mu?

Bazıları destekliyor; birçoğu yalnızca Chat Completions'ı destekliyor. Sağlayıcının uç nokta listesini kontrol edin. BroadNet Inference /v1/chat/completions ve /v1/audio/transcriptions uç noktalarını belgeler; bu yüzden Responses kodunun Chat Completions'a yeniden yazılması gerekir.

Geçiş yapınca embedding'lerime ne olur?

Yeni sağlayıcının embedding uç noktası yoksa ve base URL'yi genel olarak değiştirdiyseniz bozulurlar. BroadNet embedding satmaz; bu yüzden embedding sağlayıcınıza yönelik bir embedding istemcisi tutun. İki farklı embedding modelinin vektörlerini asla tek bir dizinde karıştırmayın.

max_tokens mı göndermeliyim, max_completion_tokens mı?

OpenAI, max_tokens'ı max_completion_tokens lehine kullanımdan kaldırılmış olarak işaretliyor. Birçok uyumlu sağlayıcı ise bunun yerine max_tokens'ı belgeliyor; BroadNet'in belgeleri de max_tokens kullanıyor. Sağlayıcının belgelediğini gönderin ve sınırın uygulandığını duman testinizde doğrulayın.

OpenAI'ın yapılandırılmış çıktı yardımcıları çalışmaya devam eder mi?

Yalnızca sağlayıcı, kullandığınız modelde json_schema içeren response_format'ı kabul ediyorsa. BroadNet, GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı listeliyor ama istek parametresinin adını vermiyor; bu yüzden test edin ve ayrıştırılan sonucu doğrulamaya devam edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor