BroadRouter
Başlayın

OpenAI uyumlu API'ye geçiş: adım adım kontrol listesi

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

OpenAI uyumlu bir API'ye geçmek için üç ayarı (base_url, api_key ve model) değiştirin, ardından farklı olanları kontrol edin: model kimlikleri, akıl yürütme token'larının max_tokens'a nasıl sayıldığı, akışta kullanımın nasıl raporlandığı, hangi hataların yeniden deneneceği, hız sınırları ve anahtar güvenliği. BroadNet Inference için temel URL https://inference.broadnet.ai/v1 adresidir.

LLM sağlayıcılarının çoğu artık OpenAI API biçimini konuşuyor. Bu, geçişi tek satırlık bir değişiklik gibi gösterir; ilk yanıtı almak için gerçekten de öyledir. Üretim trafiği çalıştırmak içinse bu listeyi baştan sona uygulayın. Her madde, geçişlerin gerçekte bozulduğu bir yoldan geliyor.

0. Uygulamanız bugün neleri kullanıyor?

Herhangi bir şeyi değiştirmeden önce uygulamanızın nelere bağlı olduğunu yazın. Kodda SDK’ya yapılan her çağrıyı arayın ve listeleyin. OpenAI’ın Whisper API’sini çağırıyorsanız, OpenAI’ın whisper-1 modelini 26 Şubat 2027’de kapanacak olarak listelediğini not edin; ses tarafı için Whisper API alternatifleri yazısına bakın.

Özellik Nereye bakmalı Geçişten sonra test
Chat completions Her chat.completions.create Aynı istemler, yanıtları karşılaştırın
Akış (streaming) stream=True Parçalar geliyor, [DONE] ile bitiyor, kullanım bilgisi var
Araç çağırma tools= Araç çağrıları ayrıştırılıyor ve çalışıyor
Yapılandırılmış çıktı response_format= JSON şemanıza göre doğrulanıyor
Görseller Mesajlardaki görsel parçaları Model kabul ediyor
Ses transkripsiyonu audio.transcriptions Metin ve dil doğru
Embedding, dosyalar, toplu işler Diğer uç noktalar Sağlayıcının bunları sunup sunmadığını kontrol edin

Son satır önemli. “OpenAI uyumlu” genellikle önce chat completions’ı kapsar. BroadNet Inference’ın kataloğu sohbet modellerini /v1/chat/completions, konuşmadan metne modellerini /v1/audio/transcriptions üzerinde listeler; başka uç noktalar kullanıyorsanız onları mevcut sağlayıcınızda tutun veya bir alternatif bulun.

1. Hangi üç ayar değişir?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Temel URL (base URL) ayarının adı kütüphaneye göre değişir: Python SDK’da ve LangChain’in ChatOpenAI’ında base_url, Node.js SDK’da baseURL. README dosyasına göre Python SDK ayrıca OPENAI_BASE_URL ortam değişkenini okur. Ortamınızda eski bir değer kalıp kalmadığını kontrol edin; yoksa istekler hiçbir hata vermeden eski sağlayıcıya gidebilir.

API anahtarlarını kodda değil, ortam değişkenlerinde veya bir gizli bilgi yöneticisinde (secret manager) tutun. Her SDK için kurulum: Python, Node.js, LangChain. İlk isteği elle oluşturup test etmek için API istek oluşturucuyu kullanın. Temel URL, anahtar ve model değişikliklerini mevcut kodunuza uygulamak için kodu OpenAI’dan BroadNet’e geçiş yardımcısına yapıştırın; araç kontrol edilecekleri de listeler.

2. Yeni model kimlikleri neler?

Her sağlayıcı modelleri kendi yöntemiyle adlandırır. BroadNet Inference’ta:

Model Kimlik
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Model kimliğini koda değil yapılandırmaya koyun; böylece ileride değiştirmek bir yeniden yazım değil, bir dağıtım olur. Her modelin sınırları ve fiyatları kendi sayfasında: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Gemma 4 VL 26B.

3. Geçişten sonra yanıtlar neden boş geliyor?

En yaygın sürpriz budur. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme token’ları max_tokens sınırına sayılır. Akıl yürütmeyen bir modelde işe yarayan 256’lık bir sınır tamamen düşünmeye harcanabilir; yanıt boş döner. 1.000 veya daha fazla token bırakın ya da basit işler için reasoning_effort değerini low yapın. Ayrıntılı açıklama.

4. Akış hâlâ kullanım bilgisini raporluyor mu?

Akışlar Server-Sent Events kullanır ve data: [DONE] ile biter. Token kullanımı yalnızca isterseniz son parçada gelir:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Bu olmadan maliyet panonuz sıfır gösterir. Bir akış [DONE] gelmeden biterse onu eksik sayın. Akış rehberi.

5. Hangi hataları yeniden denemelisiniz?

Durum Anlamı Yapılacak
401 Hatalı veya iptal edilmiş anahtar ya da tükenmiş kullandıkça öde kullanım hakkı Düzeltin, yeniden denemeyin
402 Bakiye veya bütçe Bakiye yükleyin, yeniden denemeyin
403 Model, rota veya IP politikası nedeniyle reddedildi Uyuşmazlığı düzeltin
413 İstek çok büyük Küçültün, yeniden denemeyin
429 Hız, eşzamanlılık veya harcama sınırı Geri çekilin ve yeniden deneyin
5xx Sunucu tarafı Sınırlı geri çekilmeyle yeniden deneyin

Resmi Python SDK bazı hataları zaten yeniden dener: README’sine göre bağlantı hataları, 408, 409, 429 ve 5xx yanıtları varsayılan olarak kısa bir üstel geri çekilmeyle iki kez yeniden denenir. Bu davranış bir varsayılan değil bir karar olsun diye max_retries değerini açıkça ayarlayın. Destek ekibinin bir sorunu izleyebilmesi için her yanıttaki istek kimliğini kaydedin. Tüm kodlar.

6. Yeni hız sınırları neler?

Trafik gelmeden yeni sınırları bilin. BroadNet’te kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Sınırsız planlar oturum başına aynı anda tek istek çalıştırır. İşçi havuzunuzu buna göre boyutlandırın, yoksa ilk gün 429 görürsünüz; boyutlandırmayı hız sınırı hesaplayıcısı yapar. Paralel ajanlar için boyutlandırma.

7. İstemleriniz hâlâ sığacak mı?

Bağlam pencerelerini kontrol edin: DeepSeek V4.1 Flash ve GLM 5.3’te 1.048.576 token, Qwen3.8 27B’de 262.144, Gemma 4 VL 26B’de 32.768. Eski modelinize sığan bir istem daha küçük bir pencereye sığmayabilir; bağlam penceresi hesaplayıcısıyla kontrol edin. Önbellekli girdi fiyatından yararlanmak için istemin değişmeyen kısmını başa koyun.

8. Anahtarlar ve veri saklama ne olacak?

Üretim anahtarlarını bir IP izin listesiyle sunucularınızın IP’lerine kilitleyin. Yeni sağlayıcıya neyi sakladığını sorun; ZDR kontrol listesine bakın.

9. Geçişi güvenle nasıl tamamlarsınız?

  1. Bir günlük gerçek isteklerin bir kopyasını iki sağlayıcıya da gönderin.
  2. Bir örneklem üzerinde yanıtları; ayrıca gecikmeyi, hataları ve istek başına maliyeti karşılaştırın.
  3. Trafiğin %10’unu taşıyın, bir gün izleyin, sonra kalanını taşıyın.
  4. Eski sağlayıcıyı bir hafta boyunca yedek olarak yapılandırılmış halde tutun.

Çok sayıda servis çalıştırıyorsanız LiteLLM gibi bir proxy, sağlayıcıyı her uygulamada ayrı ayrı değil tek bir yerde değiştirmenizi sağlar.

Yaygın geçiş hataları neler?

  • Temel URL’de eksik /v1. İstekler 404 döndürür. Eksiksiz URL’yi kullanın.
  • Yapılandırmada eski model adları. Yeni sağlayıcı bunları tanımaz.
  • İsteklerde kalan sağlayıcıya özgü alanlar. Yalnızca eski sağlayıcının anladığı alanlar reddedilebilir veya yok sayılabilir. Bunları genel istemcilerden kaldırın.
  • Yalnızca tek bir istemi test etmek. 0. adımdaki envanteri özellik özellik uygulayın.
  • Geçişi cuma günü yapmak. Gerçek trafiğin tam bir gününü izlemeye zaman bırakın.

BroadNet Inference nereye oturuyor?

BroadNet Inference, OpenAI SDK’ları üzerinden chat completions ve ses transkripsiyonu kullanan uygulamalar için doğrudan yerine geçebilen bir hedeftir: üç ayarı değiştirin ve yukarıdaki listeyi uygulayın. Kataloğunda yalnızca sohbet ve konuşmadan metne modelleri var; embedding veya dosya depolama gibi başka uç noktalara bağlıysanız onları başka bir sağlayıcıda tutun. Yeni hesaplar $5 kredisiyle başlar. Sohbet modellerinden yalnızca Gemma 4 VL 26B bu krediyle çalışır (kredi iki Transcribe modelini de kapsar); bu yüzden DeepSeek, GLM veya Qwen üzerinde bir gölge test için bakiye yüklemeniz gerekir.

Sık sorulan sorular

Farklı bir SDK'ya ihtiyacım var mı?

Hayır. Python ve Node.js için resmi OpenAI SDK'ları özel bir temel URL kabul eder. LangChain'in ChatOpenAI'ı gibi bunların üzerine kurulu çatılar da kabul eder.

OpenAI SDK'da base URL nasıl değiştirilir?

İstemciye Python'da base_url, Node.js'te baseURL parametresini verin ya da OPENAI_BASE_URL ortam değişkenini ayarlayın. BroadNet Inference için değer https://inference.broadnet.ai/v1 adresidir; anahtar api_key alanına girer.

Geçişten sonra neden boş yanıt alıyorum?

DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B gibi akıl yürütme modelleri yanıt vermeden önce düşünür ve bu düşünme max_tokens sınırına sayılır. max_tokens değerini 1.000 veya daha yukarı çıkarın ya da reasoning_effort değerini low yapın.

Geçişten sonra neden 404 veya model bulunamadı hatası alıyorum?

Genellikle model kimliği hâlâ eski sağlayıcının adıdır ya da temel URL'de /v1 yolu eksiktir. Yeni sağlayıcının tam model kimliğini ve eksiksiz temel URL'yi kullanın.

Hangi hataları yeniden denemeliyim?

429 ve 5xx hatalarını sınırlı üstel geri çekilmeyle yeniden deneyin. 401, 402 ve 413 hatalarını yeniden denemeden önce düzeltin. Bu sitedeki hatalar rehberi her kodu listeler.

OpenAI uyumlu, birebir aynı demek mi?

Hayır. İstek ve yanıt yapıları eşleşir; ancak model kimlikleri, desteklenen parametreler, sınırlar, kullanım alanları ve hata ayrıntıları farklı olabilir. Uygulamanızın kullandığı her özelliği test edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor