BroadRouter
Başlayın

OpenAI Python SDK'yı BroadNet Inference ile kullanın

Güncellendi

openai paketini kurun, ardından istemciyi base_url değeri https://inference.broadnet.ai/v1 ve api_key değeri BroadNet anahtarınız olacak şekilde oluşturun. Her chat.completions çağrısı değişmeden çalışır; yalnızca model kimliği değişir, örneğin broadnet/deepseek-v4.1-flash. BroadNet, Responses API'yi değil, chat completions ve transkripsiyon uç noktalarını sunar.

Bir BroadNet Inference hesabına ve bir çıkarım anahtarına ihtiyacınız var. Yeni hesaplar kart gerekmeden $5 krediyle başlar; inference.broadnet.ai adresinde hesap oluşturun. Konsol anahtarı yalnızca bir kez gösterir ve yalnızca hash değerini saklar; anahtarı doğrudan ortamınıza kopyalayın.

1. Kurun ve anahtarı ayarlayın

Güncel openai paketi (3.x) Python 3.10 veya daha yenisini gerektirir.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. İlk isteği gönderin

Bunu first_request.py olarak kaydedin:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

python first_request.py ile çalıştırın. Örnek, ücretsiz krediyle çalıştığı için broadnet/gemma-4-26b-a4b kullanıyor. Diğer sohbet modelleri bakiye yükledikten sonra kullanılabilir.

3. İstediğiniz modele geçin

Yalnızca model değerini değiştirin:

İhtiyacınız Model kimliği
Sabit fiyatlı planda sınırsız, 1M bağlam broadnet/deepseek-v4.1-flash
Araçlar ve yapılandırılmış çıktı, 1M bağlam broadnet/glm-5.3
Arapça metin ve görseller broadnet/qwen3.8-27b
Düşük fiyat, ücretsiz krediyle çalışır broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme max_tokens sınırına dahildir. Bu modellere 1.000 veya daha fazla token verin. Küçük bir sınırın neden boş yanıt döndürdüğünü burada okuyun.

4. Yanıtı akışla alın

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

include_usage ile token sayıları, choices içermeyen son parçada gelir. Kopan bağlantılar akış rehberinde ele alınıyor.

5. İstek kimliğini saklayın

Her yanıt bir X-Request-ID başlığı taşır. Bunu kaydedin: BroadNet desteği bu değeri ister. Ayrıştırılmış yanıtlarda response._request_id olarak erişilebilir. Diğer başlıklarla birlikte okumak için:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Kullandıkça öde anahtarları dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. Her hata kodunun anlamı ve ne zaman yeniden denenmeli.

Sorun giderme

  • AuthenticationError (401). Anahtar yanlış, süresi dolmuş veya kullandıkça öde kullanım hakkı bitmiş. BROADNET_API_KEY değişkeninin kodunuzu çalıştıran süreçte tanımlı olduğunu kontrol edin.
  • NotFoundError (404). base_url değerinin /v1 ile bittiğini ve responses değil chat.completions çağırdığınızı kontrol edin. Ardından model kimliğini broadnet/ önekiyle birlikte kontrol edin.
  • Ücretli model yeni hesapta çalışmıyor. $5 başlangıç kredisi BroadNet Gemma 4 VL 26B’yi (broadnet/gemma-4-26b-a4b) ve iki BroadNet Transcribe modelini kapsar. Diğer sohbet modellerini (DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B) kullanmak için bakiye yükleyin.
  • Boş content. Akıl yürütme max_tokens sınırına dahildir. Değeri 1.000 veya daha yukarı çıkarın. Yanıtlar neden boş geliyor.
  • RateLimitError (429). Dakika başına veya eşzamanlı istek sınırını aştınız. SDK varsayılan olarak iki kez yeniden dener; bunu değiştirmek için istemcide max_retries ayarlayın.
  • Yükseltmeden sonra özel HTTP istemcisi hataları. 3.x SDK, HTTPX2 kullanır. Kendi http_client nesnenizi veriyorsanız SDK’nın HTTPX2 geçiş rehberini izleyin.

Sık sorulan sorular

Farklı bir SDK gerekir mi?

Hayır. BroadNet Inference OpenAI'nin chat completions ve audio transcriptions yapılarını kullanır; resmi openai paketi farklı bir base_url ile çalışır.

OPENAI_API_KEY kullanmaya devam edebilir miyim?

Edebilirsiniz, ancak ayrı bir BROADNET_API_KEY değişkeni, bir sağlayıcının anahtarını yanlışlıkla başka bir sağlayıcıya göndermenizi önler.

SDK OPENAI_BASE_URL değişkenini okuyor mu?

Evet. base_url vermezseniz istemci OPENAI_BASE_URL değerini kullanır. Bunu https://inference.broadnet.ai/v1 olarak, OPENAI_API_KEY değişkenini de BroadNet anahtarınız olarak ayarlarsanız OpenAI() hiç argüman gerektirmez.

BroadNet ile client.responses.create kullanabilir miyim?

Hayır. SDK'nın README dosyası Responses API ile başlasa da BroadNet'in belgeleri yalnızca chat completions ve audio transcriptions uç noktalarını listeler. client.chat.completions.create kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor