BroadRouter
Başlayın

LLM API failover: kendi kodunuzda ikinci bir sağlayıcıya geçiş

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı · Güncellendi

OpenAI uyumlu sağlayıcıları, her birinin kendi istemcisi ve model kimliğiyle sıralı bir listede tutun. SDK'nın kendi yeniden denemeleri bittiğinde bağlantı hatalarında, zaman aşımlarında, 5xx'te ve hız sınırı 429'larında yedeğe geçin. 400, 401, 402, 403, 413 veya 422'de asla geçmeyin. Bir devre kesici ekleyin ve yedeğin özellikler ile veri koşullarında birincil sağlayıcıyla eşleştiğini kontrol edin.

Her LLM API’sinin kötü dakikaları olur: bir 503, bir zaman aşımı, art arda gelen 429’lar. Yedeğe geçiş (fallback), bu dakikaların uygulamanızda kesintiye dönüşmemesini sağlar. Bu yazı, OpenAI uyumlu sağlayıcılar arasında kendi kodunuzda nasıl failover yapacağınızı gösteriyor: hangi hataların bunu tetiklemesi gerektiğini, bir devre kesicinin bunu nasıl hızlı tuttuğunu ve kullanıcıların geçişi fark etmemesi için sağlayıcılar arasında nelerin eşleşmesi gerektiğini.

Önce bir not: BroadNet Inference sağlayıcılar arasında sizin yerinize yönlendirme veya failover yapmaz, BroadRouter da yapmaz. BroadRouter bir yönlendirici değil, BroadNet’in kendi web sitesidir. Yedeğe geçişi kendiniz kurarsınız: ya aşağıdaki gibi istemcinizde ya da LiteLLM gibi bir ağ geçidinde.

Neden bir yedek sağlayıcı tutmalı?

Çünkü self-servis API’lerin çoğu çalışma süresi hakkında hiçbir şey vaat etmez. BroadNet’in şartları bölüm 7.4’te bunu açıkça söyler: “self-serve has no availability commitment” (BroadRouter çevirisi: self-servis için erişilebilirlik taahhüdü yoktur); hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır (15 Kasım 2026’da kontrol edildi). Diğer sağlayıcıların neyi taahhüt ettiğini LLM API SLA karşılaştırması ele alıyor. Özelliğinizin ayakta kalması gerekiyorsa, SLA ne derse desin, ikinci bir sağlayıcı pratik bir sigortadır.

İkinci neden hız sınırlarıdır. BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Bunu aşan bir trafik artışı 429 döndürür; siz kapasiteyi artırırken ikinci bir sağlayıcı taşan kısmı karşılayabilir.

Hangi hatalar failover’ı tetiklemeli?

Hataları iki gruba ayırın. Bazıları sağlayıcının hatasıdır ve başka yerde başarılı olabilir. Diğerleri sizin hatanızdır ve her yerde başarısız olur.

Hata Yedeğe geçilsin mi? Neden
Bağlantı hatası, zaman aşımı Evet, yeniden denemelerden sonra Sağlayıcıya veya ağa ulaşılamıyor
500, 502, 503, 504 Evet, yeniden denemelerden sonra BroadNet belgeleri önce “retry with bounded exponential backoff” (sınırlı üstel geri çekilmeyle yeniden dene) der
429, hız veya eşzamanlılık sınırı Evet, geri çekilmeden sonra Bu sağlayıcıdaki kapasite sorunu, hatalı istek değil
429, harcama sınırı Hayır Yedeğe geçmek, bilerek koyduğunuz bütçeyi atlatır
400, 422 Hayır İstek geçersizdir ve bir sonraki sağlayıcıda da başarısız olur
401, 402 Hayır Anahtar, kullanım hakkı veya bakiye. BroadNet’te 401 tükenmiş bir kullandıkça öde kullanım hakkını da kapsar; yedeğe geçmek bir faturalandırma sorununu gizler
403, 413 Hayır Politika veya boyut; isteği düzeltin

BroadNet’in API referansı, 429’un “a rate, concurrency, token-rate or spending limit was reached” (bir hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldı) anlamına geldiğini ve “use response details and bounded backoff” (yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanın) gerektiğini söyler. Yedeğe geçmeden önce bu ayrıntıları okuyun; böylece harcama sınırı kaynaklı bir 429 isteği başka yere taşımak yerine durdurur. Hata kodları rehberi tüm durum kodlarını listeler.

Yedeğe geçmeden önce yeniden deneyin. OpenAI Python SDK bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını zaten “2 times by default, with a short exponential backoff” (varsayılan olarak 2 kez, kısa bir üstel geri çekilmeyle) yeniden dener ve varsayılan zaman aşımı 10 dakikadır (README, 15 Kasım 2026’da kontrol edildi). Yedeğe geçmeden önce on dakika beklemek çok uzundur. timeout değerini istemci başına ayarlayın. 429 hatasını ele alma yazısı jitter’lı geri çekilmeyi anlatıyor.

Python’da failover nasıl görünür?

İki istemci, sıralı bir liste ve küçük bir devre kesici. Birincil sağlayıcı BroadNet’teki GLM 5.3. Yedek ise DeepInfra’daki aynı açık ağırlıklı model; DeepInfra belgeleri temel URL olarak https://api.deepinfra.com/v1/openai adresini verir (15 Kasım 2026’da kontrol edildi).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Dört ayrıntı önemlidir:

  1. İstisna sınıfları. SDK, 429 için RateLimitError, 500 ve üstü için InternalServerError, bağlanamadığında ise APIConnectionError (alt sınıfı APITimeoutError ile) fırlatır. Geri kalan her şey bilerek yakalanmaz. Harcama sınırı 429’larını dışarıda bırakmak için devam etmeden önce err.response değerini inceleyin.
  2. Devre kesici. O olmadan, çökmüş bir birincil sağlayıcıda her istek devam etmeden önce zaman aşımının tamamını bekler. Art arda üç başarısızlıktan sonra birincil sağlayıcı 30 saniye atlanır. Ardından gelen ilk istek onu yeniden dener.
  3. Yanıtı kimin verdiğini kaydedin. Sağlayıcı adını döndürün ve reply.model değerini saklayın. Kalite değiştiğinde hangi sağlayıcının yanıt verdiğini bilmeniz gerekir.
  4. Akıl yürütme bütçesi. GLM 5.3 yanıtlamadan önce akıl yürütür. BroadNet belgelerine göre akıl yürütme max_tokens içinde sayılır; bu yüzden her sağlayıcıda 1.000 veya daha fazlasını bırakın.

Model kimliklerini sağlayıcılar arasında nasıl eşlersiniz?

Aynı açık ağırlıklı modelin her sağlayıcıda farklı bir kimliği vardır ve her sağlayıcının listelediği özellikler farklı olabilir. 15 Kasım 2026 itibarıyla GLM 5.3:

BroadNet Inference DeepInfra Fireworks AI
Model kimliği broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Bağlam 1.048.576 token 1.048.576 token “1040k” token
Araçlar Belgelenmiş “Function” listelenmiş Destekleniyor
Yapılandırılmış çıktı Belgelenmiş “JSON” listelenmiş Kontrol edilmedi

Buradan iki kural çıkar. Birincisi, eşlemeyi koda dağıtmak yerine yapılandırmada tutun. İkincisi, yedeğinizi isteklerinizin kullandığı özelliklere göre seçin. BroadNet’te araçlar ve yapılandırılmış çıktı yalnızca GLM 5.3 ve Qwen3.8 27B için belgelenmiştir. Araç çağıran bir ajan GLM 5.3’ten başka bir yerdeki GLM 5.3’e geçebilir; araçları belgelemeyen bir modele güvenle geçemez. Yedeğin bağlam penceresi daha küçükse, istemi kırpın ya da uzun isteklerde o yedeği atlayın. 14 sağlayıcının temel URL’leri temel URL referansında.

Geçişten sonra yanıtları nasıl tutarlı tutarsınız?

İki sağlayıcıdaki aynı ağırlıklar bile farklı yanıt verebilir; çünkü sağlayıcılar farklı hassasiyet, sohbet şablonu veya varsayılan parametrelerle sunabilir. Farklı bir model ise kesinlikle farklı yanıt verir.

  • Değerlendirme setinizi yalnızca birincil sağlayıcıda değil, listedeki her girdide çalıştırın.
  • Sağlayıcı varsayılanları çıktıyı değiştiremesin diye temperature, max_tokens ve sistem istemini istek başına sabitleyin.
  • Yapılandırılmış çıktıyı her yolda aynı şekilde doğrulayın. Geçersiz JSON’u düzeltme yazısı onar-ve-yeniden-dene döngüsünü anlatıyor.
  • Aynı sağlayıcıdaki farklı bir model yerine başka bir yerdeki aynı modeli tercih edin. Kullanıcılar üslup değişikliğini birkaç saniyelik gecikmeden daha çok fark eder.

Akış ve araç çağrıları ne olacak?

Bir akış yarıda kesilebilir. BroadNet belgeleri, data: [DONE] gelmeden biten bir akışın eksik sayılması gerektiğini söyler: X-Request-ID değerini kaydedin ve uygulamanızın güvenle yeni bir istek gönderip gönderemeyeceğine karar verin.

  • İlk token’dan önce: serbestçe yedeğe geçin. Kullanıcı henüz hiçbir şey görmedi.
  • Token’lar gösterildikten sonra: yedekte yeniden başlatıp kısmi yanıtı değiştirin ya da yeniden deneme düğmesiyle bir hata gösterin. İki sağlayıcının yarım yanıtlarını birbirine eklemek kötü okunur.
  • Yan etkisi olan araç çağrıları: yalnızca model çağrısı başarısız oldu diye e-posta gönderen, karttan ödeme alan veya veritabanına yazan bir adımı asla yeniden çalıştırmayın. Her eyleme bir idempotency anahtarı verin. Uzun süre çalışan ajanlar yazısı kontrol noktalarını anlatıyor.

SSE ile akış yazısı, erken biten bir akışın nasıl tespit edileceğini açıklıyor.

Failover’ın maliyeti nedir?

  • Yinelenen iş. Sizin tarafınızdaki zaman aşımı, sağlayıcının durduğunu kanıtlamaz. Token başına faturalandırmada her yeniden deneme yeni bir çıkarımdır; bazı istekler için iki kez ödemeyi bekleyin.
  • Farklı fiyatlar. Yedek kendi ücretleriyle faturalandırır. DeepInfra 15 Kasım 2026’da GLM-5.3 için promosyonlu bir fiyat listeliyordu; bütçe yapmadan önce yeniden kontrol edin. BroadNet 1M token başına $0.78 girdi, $0.173 önbellekli girdi ve $3.46 çıktı ücreti alır.
  • Soğuk önbellekler. Önbellekli girdi sağlayıcılar arasında taşınmaz. Yedekteki ilk istekler, birincil sağlayıcıda önbellekli olan bir önek için tam girdi fiyatı öder. Bkz. önbellekli girdi token’ları.
  • Hedging. Her isteği aynı anda iki sağlayıcıya gönderip ilk yanıtı almak kuyruk gecikmesini azaltır, ama faturayı kabaca ikiye katlar. Yalnızca gecikmenin buna değdiği yerlerde kullanın.

Yedek aynı veri koşullarını karşılıyor mu?

Yedek sağlayıcı, aynı istemleri alan başka bir veri işleyendir. Müşterilerinize verileri hakkında bir söz verdiyseniz, bu söz listedeki her girdide geçerli olmalıdır.

BroadNet’in gizlilik beyanı şöyle der: “We do not retain prompts, audio, images, answers or transcripts” (BroadRouter çevirisi: istemleri, sesleri, görselleri, yanıtları veya transkriptleri saklamayız). Çıkarım içeriği saklanmaz; gerekli hesap, faturalandırma ve güvenlik meta verileri beyanda anlatıldığı şekilde tutulur. Beyan ayrıca çıkarım verilerinin model eğitmek, ince ayar yapmak veya değerlendirmek için kullanılmadığını söyler. Beyana göre barındırılan modeller “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (BroadRouter çevirisi: ABD’de BroadNet’e ait veya kiralanmış donanımda, yedek olarak iş ortağı kapasitesiyle çalışır); DeepSeek V4.1 Flash ise iş ortağı tarafından barındırılır. Veri yerleşimi gereksinimi olan veriler için şartlar (bölüm 7.3a), göndermeden önce işleme konumları üzerinde anlaşmanızı söyler. Aynı noktaları yedek için de kontrol edin: saklama, eğitimde kullanım, konum ve alt işleyenler. Yetersiz kalıyorsa, hassas istekleri yedek yolunun dışında tutun ve başarısız olduklarında kapalı kalmalarını sağlayın. Sıfır veri saklama kontrol listesi soruları listeliyor.

Bunun yerine LiteLLM gibi bir ağ geçidi mi kullanmalısınız?

Birden fazla servis aynı yedeğe geçiş kurallarına ihtiyaç duyuyorsa bir ağ geçidi kullanın. LiteLLM’in proxy’si sırayla denenen bir fallbacks listesi alır. num_retries, yedeğe geçmeden önce bir model grubunu yeniden dener. allowed_fails ve cooldown_time, başarısız olan bir dağıtımı bir süreliğine devre dışı bırakır; bu da devre kesici gibi çalışır. Ayrı context_window_fallbacks ve content_policy_fallbacks ayarları bu hata türlerini ele alır (LiteLLM belgeleri, 15 Kasım 2026’da kontrol edildi):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

LiteLLM proxy rehberi BroadNet girdisini eksiksiz gösteriyor. İki girdi de rehberdeki kalıpla aynı şekilde LiteLLM’in genel openai/ önekini bir api_base ile kullanır. Ağ geçidi bir ara adım ve çalışır tutulması gereken bir şey daha ekler. Tek bir uygulama için yukarıdaki gibi istemcinizde 40 kadar satır yeterlidir.

Failover’ı ihtiyaç duymadan önce nasıl test edersiniz?

  1. Bir test yapılandırmasında birincil sağlayıcıyı ulaşılamayan bir sunucuya yönlendirin ve isteklerin yedeğe düştüğünü kontrol edin.
  2. Bilerek geçersiz bir istek gönderin ve yedeğe geçmediğini kontrol edin.
  3. Geçersiz bir birincil anahtar kullanın ve 401’in sessiz bir geçiş olarak değil, hata olarak ortaya çıktığını kontrol edin.
  4. Devre kesiciyi izleyin: üç başarısızlıktan sonra birincil sağlayıcı zaman aşımını beklemeden atlanmalı.
  5. Yedek, trafiğin küçük bir payından fazlasını karşıladığında alarm verin. Sessiz failover bozuk bir birincil sağlayıcıyı günlerce gizleyebilir.

LiteLLM’in Router sınıfı, doğrudan testlerde yedeğe geçişi zorlamak için mock_testing_fallbacks=True kabul eder.

BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in web sitesidir ve BroadNet Inference listenizdeki iki girdiden biri olabilir. Birincil olarak size araçları ve yapılandırılmış çıktısı belgelenmiş GLM 5.3 ve Qwen3.8 27B’yi, ayrıca Gemma 4 VL 26B ve DeepSeek V4.1 Flash’ı, hiçbir içeriğin saklanmadığı tek bir temel URL üzerinden verir. Yedek olarak ise listeye eklenecek bir OpenAI uyumlu uç nokta daha olur. Her iki durumda da failover mantığı sizindir: BroadNet sağlayıcılar arasında yönlendirme yapmaz ve self-servisin SLA’sı yoktur. Sözleşmeli hizmet seviyelerine ihtiyacınız varsa, bunlar yalnızca ayrı bir yazılı sözleşmeyle gelir. Modelleri karşılaştırın ya da bir hesap oluşturun ve zincirinizi Gemma 4 VL 26B üzerinde $5 başlangıç kredisiyle test edin. GLM 5.3 ve Qwen3.8 27B için bakiye yükleme gerekir.

Sık sorulan sorular

Hangi hatalar LLM API yedeğine geçişi tetiklemeli?

SDK'nın kendi yeniden denemelerinden sonra bağlantı hataları, zaman aşımları, 5xx ve hız sınırı 429'ları. 400, 401, 402, 403, 413 veya 422'de yedeğe geçmeyin: istek veya hesap hatalıdır; bir sonraki sağlayıcı da aynı şekilde başarısız olur ya da bir faturalandırma sorununu gizler.

BroadNet başka bir sağlayıcıya otomatik olarak geçiyor mu?

Hayır. BroadNet Inference istekleri modeller veya sağlayıcılar arasında yönlendirmez; bu site olan BroadRouter da bir yönlendirici değil, BroadNet'in bilgi sitesidir. Yedeğe geçişi istemcinizde ya da LiteLLM gibi bir ağ geçidinde siz kurarsınız.

Her sağlayıcıda aynı model kimliğini kullanabilir miyim?

Hayır. Her sağlayıcı aynı açık ağırlıklı modele farklı ad verir. GLM 5.3, BroadNet'te `broadnet/glm-5.3`, DeepInfra'da `zai-org/GLM-5.3`, Fireworks'te `accounts/fireworks/models/glm-5p3` olarak geçer (15 Kasım 2026'da kontrol edildi). Sağlayıcı başına bir eşleme tutun.

Başarısız denemeler ücretli mi?

Olabilir. Sizin tarafınızdaki bir zaman aşımı, sağlayıcının işi durdurduğunu kanıtlamaz; token başına faturalandırmada her yeniden deneme yeni bir çıkarımdır. Bazı isteklerin iki kez faturalanacağını bütçeye katın ve istek başına deneme sayısını sınırlayın.

Yedek sağlayıcının gizlilik koşulları aynı olmalı mı?

Evet. Yedek, aynı istemleri gören başka bir veri işleyendir. Eklemeden önce saklama, eğitim ve işleme konumu koşullarını kontrol edin; yoksa gizlilik taahhüdünüz yalnızca birincil sağlayıcı ayaktayken geçerli olur.

BroadNet'in SLA'sı var mı?

Self-servis için yok. BroadNet'in şartları (bölüm 7.4) self-servisin erişilebilirlik taahhüdü olmadığını söyler; hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor