---
title: "LLM API failover: yedek sağlayıcıya geçiş, Python ile"
description: "OpenAI uyumlu LLM sağlayıcıları arasında failover: hangi hatalarda geçilir, devre kesici, model kimliği eşleme, akış, maliyet ve gizlilik koşullarının denkliği."
url: https://broadrouter.com/tr/blog/llm-api-failover-fallback/
lang: tr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/llm-api-failover-fallback/) (güncelleme: 2026-11-16).

# LLM API failover: kendi kodunuzda ikinci bir sağlayıcıya geçiş

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı 2026-11-15 · Güncellendi 2026-11-16

OpenAI uyumlu sağlayıcıları, her birinin kendi istemcisi ve model kimliğiyle sıralı bir listede tutun. SDK'nın kendi yeniden denemeleri bittiğinde bağlantı hatalarında, zaman aşımlarında, 5xx'te ve hız sınırı 429'larında yedeğe geçin. 400, 401, 402, 403, 413 veya 422'de asla geçmeyin. Bir devre kesici ekleyin ve yedeğin özellikler ile veri koşullarında birincil sağlayıcıyla eşleştiğini kontrol edin.

## Öne çıkanlar

-   Sınırlı yeniden denemelerden sonra bağlantı hatalarında, zaman aşımlarında, 5xx'te ve hız sınırı 429'larında yedeğe geçin. 400, 401, 402, 403, 413 veya 422 bir sonraki sağlayıcıda da aynı şekilde başarısız olur.
-   Model kimlikleri sağlayıcıya göre değişir: GLM 5.3, BroadNet'te \`broadnet/glm-5.3\`, DeepInfra'da \`zai-org/GLM-5.3\`, Fireworks'te \`accounts/fireworks/models/glm-5p3\` adını taşır.
-   Devre kesici, birincil sağlayıcı çöktüğünde her istekte zaman aşımı beklemenizi önler.
-   Bir akışı yalnızca ilk token'dan önce yedeğe taşıyın ve bir şeyi değiştiren araç çağrısını asla yeniden çalıştırmayın.
-   BroadNet ve BroadRouter sizin yerinize yönlendirme veya failover yapmaz. BroadNet self-servis için erişilebilirlik taahhüdü yoktur; bu yüzden üretim uygulamaları bir yedek tutmalıdır.

**Bu sayfada**

1.  Neden bir yedek sağlayıcı tutmalı?
2.  Hangi hatalar failover’ı tetiklemeli?
3.  Python’da failover nasıl görünür?
4.  Model kimliklerini sağlayıcılar arasında nasıl eşlersiniz?
5.  Geçişten sonra yanıtları nasıl tutarlı tutarsınız?
6.  Akış ve araç çağrıları ne olacak?
7.  Failover’ın maliyeti nedir?
8.  Yedek aynı veri koşullarını karşılıyor mu?
9.  Bunun yerine LiteLLM gibi bir ağ geçidi mi kullanmalısınız?
10.  Failover’ı ihtiyaç duymadan önce nasıl test edersiniz?
11.  BroadNet Inference nereye oturuyor

Her LLM API’sinin kötü dakikaları olur: bir 503, bir zaman aşımı, art arda gelen 429’lar. Yedeğe geçiş (fallback), bu dakikaların uygulamanızda kesintiye dönüşmemesini sağlar. Bu yazı, [OpenAI uyumlu](https://broadrouter.com/tr/glossary/openai-compatible-api/) sağlayıcılar arasında kendi kodunuzda nasıl failover yapacağınızı gösteriyor: hangi hataların bunu tetiklemesi gerektiğini, bir devre kesicinin bunu nasıl hızlı tuttuğunu ve kullanıcıların geçişi fark etmemesi için sağlayıcılar arasında nelerin eşleşmesi gerektiğini.

Önce bir not: **BroadNet Inference sağlayıcılar arasında sizin yerinize yönlendirme veya failover yapmaz**, BroadRouter da yapmaz. BroadRouter bir yönlendirici değil, BroadNet’in kendi web sitesidir. Yedeğe geçişi kendiniz kurarsınız: ya aşağıdaki gibi istemcinizde ya da LiteLLM gibi bir ağ geçidinde.

## Neden bir yedek sağlayıcı tutmalı?

Çünkü self-servis API’lerin çoğu çalışma süresi hakkında hiçbir şey vaat etmez. BroadNet’in [şartları](https://www.broadnet.ai/terms) bölüm 7.4’te bunu açıkça söyler: “self-serve has no availability commitment” (BroadRouter çevirisi: self-servis için erişilebilirlik taahhüdü yoktur); hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır (15 Kasım 2026’da kontrol edildi). Diğer sağlayıcıların neyi taahhüt ettiğini [LLM API SLA karşılaştırması](https://broadrouter.com/tr/blog/llm-api-sla-uptime-compared/) ele alıyor. Özelliğinizin ayakta kalması gerekiyorsa, SLA ne derse desin, ikinci bir sağlayıcı pratik bir sigortadır.

İkinci neden [hız sınırlarıdır](https://broadrouter.com/tr/glossary/rate-limit/). BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Bunu aşan bir trafik artışı 429 döndürür; siz kapasiteyi artırırken ikinci bir sağlayıcı taşan kısmı karşılayabilir.

## Hangi hatalar failover’ı tetiklemeli?

Hataları iki gruba ayırın. Bazıları sağlayıcının hatasıdır ve başka yerde başarılı olabilir. Diğerleri sizin hatanızdır ve her yerde başarısız olur.

| Hata | Yedeğe geçilsin mi? | Neden |
| --- | --- | --- |
| Bağlantı hatası, zaman aşımı | Evet, yeniden denemelerden sonra | Sağlayıcıya veya ağa ulaşılamıyor |
| 500, 502, 503, 504 | Evet, yeniden denemelerden sonra | BroadNet belgeleri önce “retry with bounded exponential backoff” (sınırlı üstel geri çekilmeyle yeniden dene) der |
| 429, hız veya eşzamanlılık sınırı | Evet, geri çekilmeden sonra | Bu sağlayıcıdaki kapasite sorunu, hatalı istek değil |
| 429, harcama sınırı | Hayır | Yedeğe geçmek, bilerek koyduğunuz bütçeyi atlatır |
| 400, 422 | Hayır | İstek geçersizdir ve bir sonraki sağlayıcıda da başarısız olur |
| 401, 402 | Hayır | Anahtar, kullanım hakkı veya bakiye. BroadNet’te 401 tükenmiş bir kullandıkça öde kullanım hakkını da kapsar; yedeğe geçmek bir faturalandırma sorununu gizler |
| 403, 413 | Hayır | Politika veya boyut; isteği düzeltin |

BroadNet’in [API referansı](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-api-failover-fallback&utm_content=body), 429’un “a rate, concurrency, token-rate or spending limit was reached” (bir hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldı) anlamına geldiğini ve “use response details and bounded backoff” (yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanın) gerektiğini söyler. Yedeğe geçmeden önce bu ayrıntıları okuyun; böylece harcama sınırı kaynaklı bir 429 isteği başka yere taşımak yerine durdurur. [Hata kodları rehberi](https://broadrouter.com/tr/guides/errors-and-retries/) tüm durum kodlarını listeler.

Yedeğe geçmeden önce yeniden deneyin. OpenAI Python SDK bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını zaten “2 times by default, with a short exponential backoff” (varsayılan olarak 2 kez, kısa bir üstel geri çekilmeyle) yeniden dener ve varsayılan zaman aşımı 10 dakikadır ([README](https://github.com/openai/openai-python), 15 Kasım 2026’da kontrol edildi). Yedeğe geçmeden önce on dakika beklemek çok uzundur. `timeout` değerini istemci başına ayarlayın. [429 hatasını ele alma yazısı](https://broadrouter.com/tr/blog/handle-llm-api-429-rate-limits/) jitter’lı geri çekilmeyi anlatıyor.

## Python’da failover nasıl görünür?

İki istemci, sıralı bir liste ve küçük bir devre kesici. Birincil sağlayıcı BroadNet’teki GLM 5.3. Yedek ise DeepInfra’daki aynı açık ağırlıklı model; DeepInfra belgeleri temel URL olarak `https://api.deepinfra.com/v1/openai` adresini verir (15 Kasım 2026’da kontrol edildi).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Dört ayrıntı önemlidir:

1.  **İstisna sınıfları.** SDK, 429 için `RateLimitError`, 500 ve üstü için `InternalServerError`, bağlanamadığında ise `APIConnectionError` (alt sınıfı `APITimeoutError` ile) fırlatır. Geri kalan her şey bilerek yakalanmaz. Harcama sınırı 429’larını dışarıda bırakmak için devam etmeden önce `err.response` değerini inceleyin.
2.  **Devre kesici.** O olmadan, çökmüş bir birincil sağlayıcıda her istek devam etmeden önce zaman aşımının tamamını bekler. Art arda üç başarısızlıktan sonra birincil sağlayıcı 30 saniye atlanır. Ardından gelen ilk istek onu yeniden dener.
3.  **Yanıtı kimin verdiğini kaydedin.** Sağlayıcı adını döndürün ve `reply.model` değerini saklayın. Kalite değiştiğinde hangi sağlayıcının yanıt verdiğini bilmeniz gerekir.
4.  **Akıl yürütme bütçesi.** GLM 5.3 yanıtlamadan önce akıl yürütür. BroadNet belgelerine göre akıl yürütme `max_tokens` içinde sayılır; bu yüzden her sağlayıcıda 1.000 veya daha fazlasını bırakın.

## Model kimliklerini sağlayıcılar arasında nasıl eşlersiniz?

Aynı açık ağırlıklı modelin her sağlayıcıda farklı bir kimliği vardır ve her sağlayıcının listelediği özellikler farklı olabilir. 15 Kasım 2026 itibarıyla GLM 5.3:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| Model kimliği | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Bağlam | 1.048.576 token | 1.048.576 token | “1040k” token |
| Araçlar | Belgelenmiş | “Function” listelenmiş | Destekleniyor |
| Yapılandırılmış çıktı | Belgelenmiş | “JSON” listelenmiş | Kontrol edilmedi |

Buradan iki kural çıkar. Birincisi, eşlemeyi koda dağıtmak yerine yapılandırmada tutun. İkincisi, yedeğinizi isteklerinizin kullandığı özelliklere göre seçin. BroadNet’te araçlar ve yapılandırılmış çıktı yalnızca GLM 5.3 ve Qwen3.8 27B için belgelenmiştir. Araç çağıran bir ajan GLM 5.3’ten başka bir yerdeki GLM 5.3’e geçebilir; araçları belgelemeyen bir modele güvenle geçemez. Yedeğin bağlam penceresi daha küçükse, istemi kırpın ya da uzun isteklerde o yedeği atlayın. 14 sağlayıcının temel URL’leri [temel URL referansında](https://broadrouter.com/tr/blog/openai-compatible-api-base-urls/).

## Geçişten sonra yanıtları nasıl tutarlı tutarsınız?

İki sağlayıcıdaki aynı ağırlıklar bile farklı yanıt verebilir; çünkü sağlayıcılar farklı hassasiyet, sohbet şablonu veya varsayılan parametrelerle sunabilir. Farklı bir model ise kesinlikle farklı yanıt verir.

-   [Değerlendirme setinizi](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) yalnızca birincil sağlayıcıda değil, listedeki her girdide çalıştırın.
-   Sağlayıcı varsayılanları çıktıyı değiştiremesin diye `temperature`, `max_tokens` ve sistem istemini istek başına sabitleyin.
-   Yapılandırılmış çıktıyı her yolda aynı şekilde doğrulayın. [Geçersiz JSON’u düzeltme](https://broadrouter.com/tr/blog/fix-invalid-json-from-llm/) yazısı onar-ve-yeniden-dene döngüsünü anlatıyor.
-   Aynı sağlayıcıdaki farklı bir model yerine başka bir yerdeki aynı modeli tercih edin. Kullanıcılar üslup değişikliğini birkaç saniyelik gecikmeden daha çok fark eder.

## Akış ve araç çağrıları ne olacak?

Bir akış yarıda kesilebilir. BroadNet belgeleri, `data: [DONE]` gelmeden biten bir akışın eksik sayılması gerektiğini söyler: `X-Request-ID` değerini kaydedin ve uygulamanızın güvenle yeni bir istek gönderip gönderemeyeceğine karar verin.

-   **İlk token’dan önce:** serbestçe yedeğe geçin. Kullanıcı henüz hiçbir şey görmedi.
-   **Token’lar gösterildikten sonra:** yedekte yeniden başlatıp kısmi yanıtı değiştirin ya da yeniden deneme düğmesiyle bir hata gösterin. İki sağlayıcının yarım yanıtlarını birbirine eklemek kötü okunur.
-   **Yan etkisi olan araç çağrıları:** yalnızca model çağrısı başarısız oldu diye e-posta gönderen, karttan ödeme alan veya veritabanına yazan bir adımı asla yeniden çalıştırmayın. Her eyleme bir [idempotency anahtarı](https://broadrouter.com/tr/glossary/idempotency-key/) verin. [Uzun süre çalışan ajanlar](https://broadrouter.com/tr/blog/long-running-agents-timeouts-retries/) yazısı kontrol noktalarını anlatıyor.

[SSE ile akış](https://broadrouter.com/tr/blog/llm-streaming-sse-explained/) yazısı, erken biten bir akışın nasıl tespit edileceğini açıklıyor.

## Failover’ın maliyeti nedir?

-   **Yinelenen iş.** Sizin tarafınızdaki zaman aşımı, sağlayıcının durduğunu kanıtlamaz. Token başına faturalandırmada her yeniden deneme yeni bir çıkarımdır; bazı istekler için iki kez ödemeyi bekleyin.
-   **Farklı fiyatlar.** Yedek kendi ücretleriyle faturalandırır. DeepInfra 15 Kasım 2026’da GLM-5.3 için promosyonlu bir fiyat listeliyordu; bütçe yapmadan önce yeniden kontrol edin. BroadNet 1M token başına $0.78 girdi, $0.173 önbellekli girdi ve $3.46 çıktı ücreti alır.
-   **Soğuk önbellekler.** Önbellekli girdi sağlayıcılar arasında taşınmaz. Yedekteki ilk istekler, birincil sağlayıcıda önbellekli olan bir önek için tam girdi fiyatı öder. Bkz. [önbellekli girdi token’ları](https://broadrouter.com/tr/blog/cached-input-tokens-explained/).
-   **Hedging.** Her isteği aynı anda iki sağlayıcıya gönderip ilk yanıtı almak kuyruk gecikmesini azaltır, ama faturayı kabaca ikiye katlar. Yalnızca gecikmenin buna değdiği yerlerde kullanın.

## Yedek aynı veri koşullarını karşılıyor mu?

Yedek sağlayıcı, aynı istemleri alan başka bir veri işleyendir. Müşterilerinize verileri hakkında bir söz verdiyseniz, bu söz listedeki her girdide geçerli olmalıdır.

BroadNet’in [gizlilik beyanı](https://www.broadnet.ai/inference-privacy) şöyle der: “We do not retain prompts, audio, images, answers or transcripts” (BroadRouter çevirisi: istemleri, sesleri, görselleri, yanıtları veya transkriptleri saklamayız). Çıkarım içeriği saklanmaz; gerekli hesap, faturalandırma ve güvenlik meta verileri beyanda anlatıldığı şekilde tutulur. Beyan ayrıca çıkarım verilerinin model eğitmek, ince ayar yapmak veya değerlendirmek için kullanılmadığını söyler. Beyana göre barındırılan modeller “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (BroadRouter çevirisi: ABD’de BroadNet’e ait veya kiralanmış donanımda, yedek olarak iş ortağı kapasitesiyle çalışır); DeepSeek V4.1 Flash ise iş ortağı tarafından barındırılır. Veri yerleşimi gereksinimi olan veriler için şartlar (bölüm 7.3a), göndermeden önce işleme konumları üzerinde anlaşmanızı söyler. Aynı noktaları yedek için de kontrol edin: saklama, eğitimde kullanım, konum ve alt işleyenler. Yetersiz kalıyorsa, hassas istekleri yedek yolunun dışında tutun ve başarısız olduklarında kapalı kalmalarını sağlayın. [Sıfır veri saklama kontrol listesi](https://broadrouter.com/tr/blog/zero-data-retention-llm-api-checklist/) soruları listeliyor.

## Bunun yerine LiteLLM gibi bir ağ geçidi mi kullanmalısınız?

Birden fazla servis aynı yedeğe geçiş kurallarına ihtiyaç duyuyorsa bir ağ geçidi kullanın. LiteLLM’in proxy’si sırayla denenen bir `fallbacks` listesi alır. `num_retries`, yedeğe geçmeden önce bir model grubunu yeniden dener. `allowed_fails` ve `cooldown_time`, başarısız olan bir dağıtımı bir süreliğine devre dışı bırakır; bu da devre kesici gibi çalışır. Ayrı `context_window_fallbacks` ve `content_policy_fallbacks` ayarları bu hata türlerini ele alır ([LiteLLM belgeleri](https://docs.litellm.ai/docs/proxy/reliability), 15 Kasım 2026’da kontrol edildi):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[LiteLLM proxy rehberi](https://broadrouter.com/tr/guides/litellm-proxy-custom-provider/) BroadNet girdisini eksiksiz gösteriyor. İki girdi de rehberdeki kalıpla aynı şekilde LiteLLM’in genel `openai/` önekini bir `api_base` ile kullanır. Ağ geçidi bir ara adım ve çalışır tutulması gereken bir şey daha ekler. Tek bir uygulama için yukarıdaki gibi istemcinizde 40 kadar satır yeterlidir.

## Failover’ı ihtiyaç duymadan önce nasıl test edersiniz?

1.  Bir test yapılandırmasında birincil sağlayıcıyı ulaşılamayan bir sunucuya yönlendirin ve isteklerin yedeğe düştüğünü kontrol edin.
2.  Bilerek geçersiz bir istek gönderin ve yedeğe **geçmediğini** kontrol edin.
3.  Geçersiz bir birincil anahtar kullanın ve 401’in sessiz bir geçiş olarak değil, hata olarak ortaya çıktığını kontrol edin.
4.  Devre kesiciyi izleyin: üç başarısızlıktan sonra birincil sağlayıcı zaman aşımını beklemeden atlanmalı.
5.  Yedek, trafiğin küçük bir payından fazlasını karşıladığında alarm verin. Sessiz failover bozuk bir birincil sağlayıcıyı günlerce gizleyebilir.

LiteLLM’in `Router` sınıfı, doğrudan testlerde yedeğe geçişi zorlamak için `mock_testing_fallbacks=True` kabul eder.

## BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in web sitesidir ve BroadNet Inference listenizdeki iki girdiden biri olabilir. Birincil olarak size araçları ve yapılandırılmış çıktısı belgelenmiş GLM 5.3 ve Qwen3.8 27B’yi, ayrıca Gemma 4 VL 26B ve DeepSeek V4.1 Flash’ı, hiçbir içeriğin saklanmadığı tek bir [temel URL](https://broadrouter.com/tr/glossary/base-url/) üzerinden verir. Yedek olarak ise listeye eklenecek bir OpenAI uyumlu uç nokta daha olur. Her iki durumda da failover mantığı sizindir: BroadNet sağlayıcılar arasında yönlendirme yapmaz ve self-servisin SLA’sı yoktur. Sözleşmeli hizmet seviyelerine ihtiyacınız varsa, bunlar yalnızca ayrı bir yazılı sözleşmeyle gelir. [Modelleri](https://broadrouter.com/tr/models/) karşılaştırın ya da [bir hesap oluşturun](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-api-failover-fallback&utm_content=body) ve zincirinizi Gemma 4 VL 26B üzerinde $5 başlangıç kredisiyle test edin. GLM 5.3 ve Qwen3.8 27B için bakiye yükleme gerekir.

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[Token](https://broadrouter.com/tr/glossary/token/)

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

[Eşzamanlılık (concurrency)](https://broadrouter.com/tr/glossary/concurrency/)

Eşzamanlılık (concurrency), bir istemcinin aynı anda işlemde olan istek sayısıdır. LLM API'leri bunu genellikle dakikadaki istek sayısından ayrı olarak anahtar veya plan başına sınırlar, çünkü açık her istek yanıtı bitene kadar GPU kapasitesi tutar.

[Base URL (temel URL)](https://broadrouter.com/tr/glossary/base-url/)

Base URL (temel URL), https://api.example.com/v1 gibi, bir istemcinin /chat/completions gibi her uç nokta yolunun önüne eklediği sabit kök adrestir. OpenAI uyumlu SDK'larda base URL, API anahtarı ve model kimliğiyle birlikte değiştirildiğinde aynı kod farklı bir sağlayıcıya yönelir.

[Harcama limiti (spend limit)](https://broadrouter.com/tr/glossary/spend-limit/)

Harcama limiti (spend limit), bir API hesabının, projesinin veya anahtarının bir dönemde, genellikle bir ayda, harcayabileceği tutara konan tavandır. Kullanım bu tavana ulaştığında sağlayıcı, dönem sıfırlanana veya limit yükseltilene kadar yeni istekleri çoğu zaman HTTP 429 veya 400 hatasıyla reddeder.

[İstek zaman aşımı (request timeout)](https://broadrouter.com/tr/glossary/request-timeout/)

İstek zaman aşımı (request timeout), bir HTTP istemcisinin isteği bırakmadan önce sunucuyu bekleyeceği en uzun süredir. İstemciler bunu genellikle bağlantıyı açmak için bir bağlantı zaman aşımına ve veri beklemek için bir okuma zaman aşımına ayırır. LLM çağrıları cömert okuma zaman aşımları gerektirir, çünkü uzun yanıtlar zaman alır.

[Kullandıkça öde (pay-as-you-go)](https://broadrouter.com/tr/glossary/pay-as-you-go/)

Kullandıkça öde, abonelik veya asgari taahhüt olmadan yalnızca kullandığınız kadar ödediğiniz, token, istek veya ses dakikası gibi birimler üzerinden ölçülen bir fiyatlandırma modelidir. LLM API'lerinin çoğu bu şekilde, ön ödemeli bir bakiyeden veya dönemsel faturayla ücretlendirir.

[Üstel geri çekilme (exponential backoff)](https://broadrouter.com/tr/glossary/exponential-backoff/)

Üstel geri çekilme (exponential backoff), istemcinin her başarısız denemeden sonra tekrar denemeden önce daha uzun beklediği, genellikle gecikmeyi bir üst sınıra kadar ikiye katladığı bir yeniden deneme stratejisidir. Her beklemeye rastgele jitter eklemek, birçok istemcinin yeniden denemelerini yayar; böylece sunucuya aynı anda yüklenmezler.

[Akış (streaming)](https://broadrouter.com/tr/glossary/streaming/)

Akış (streaming), bir dil modeli yanıtını sonda tek parça halinde değil, hâlâ üretilirken küçük parçalar halinde döndürme yöntemidir. OpenAI uyumlu API'ler, istekte stream değeri true olduğunda server-sent events (SSE) üzerinden akış yapar.

## Sık sorulan sorular

### Hangi hatalar LLM API yedeğine geçişi tetiklemeli?

SDK'nın kendi yeniden denemelerinden sonra bağlantı hataları, zaman aşımları, 5xx ve hız sınırı 429'ları. 400, 401, 402, 403, 413 veya 422'de yedeğe geçmeyin: istek veya hesap hatalıdır; bir sonraki sağlayıcı da aynı şekilde başarısız olur ya da bir faturalandırma sorununu gizler.

### BroadNet başka bir sağlayıcıya otomatik olarak geçiyor mu?

Hayır. BroadNet Inference istekleri modeller veya sağlayıcılar arasında yönlendirmez; bu site olan BroadRouter da bir yönlendirici değil, BroadNet'in bilgi sitesidir. Yedeğe geçişi istemcinizde ya da LiteLLM gibi bir ağ geçidinde siz kurarsınız.

### Her sağlayıcıda aynı model kimliğini kullanabilir miyim?

Hayır. Her sağlayıcı aynı açık ağırlıklı modele farklı ad verir. GLM 5.3, BroadNet'te \`broadnet/glm-5.3\`, DeepInfra'da \`zai-org/GLM-5.3\`, Fireworks'te \`accounts/fireworks/models/glm-5p3\` olarak geçer (15 Kasım 2026'da kontrol edildi). Sağlayıcı başına bir eşleme tutun.

### Başarısız denemeler ücretli mi?

Olabilir. Sizin tarafınızdaki bir zaman aşımı, sağlayıcının işi durdurduğunu kanıtlamaz; token başına faturalandırmada her yeniden deneme yeni bir çıkarımdır. Bazı isteklerin iki kez faturalanacağını bütçeye katın ve istek başına deneme sayısını sınırlayın.

### Yedek sağlayıcının gizlilik koşulları aynı olmalı mı?

Evet. Yedek, aynı istemleri gören başka bir veri işleyendir. Eklemeden önce saklama, eğitim ve işleme konumu koşullarını kontrol edin; yoksa gizlilik taahhüdünüz yalnızca birincil sağlayıcı ayaktayken geçerli olur.

### BroadNet'in SLA'sı var mı?

Self-servis için yok. BroadNet'in şartları (bölüm 7.4) self-servisin erişilebilirlik taahhüdü olmadığını söyler; hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır.

## Okumaya devam edin

-   [LLM API 429 hatası nasıl çözülür: geri çekilme, jitter, sınırlayıcılar](https://broadrouter.com/tr/blog/handle-llm-api-429-rate-limits/)
-   [Uzun süren ajanlar: zaman aşımı, yeniden deneme ve kontrol noktası](https://broadrouter.com/tr/blog/long-running-agents-timeouts-retries/)
-   [OpenAI uyumlu API base URL listesi: 14 sağlayıcı kontrol edildi](https://broadrouter.com/tr/blog/openai-compatible-api-base-urls/)
-   [LLM API SLA'ları: Azure, Bedrock, Google ve OpenAI ne vaat ediyor?](https://broadrouter.com/tr/blog/llm-api-sla-uptime-compared/)
-   [Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği](https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/)
-   [Rehber: BroadNet Inference hata kodları ve ne zaman yeniden denenmeli](https://broadrouter.com/tr/guides/errors-and-retries/)
-   [Rehber: LiteLLM'i BroadNet Inference'a yönlendirin (SDK ve proxy)](https://broadrouter.com/tr/guides/litellm-proxy-custom-provider/)
-   [Rehber: OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Kaynaklar**

-   [BroadNet Inference API referansı: hatalar ve yeniden denemeler, sınırlar, akış, model yetenekleri (2026-11-15 tarihinde kontrol edildi) (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-llm-api-failover-fallback&utm_content=sources)
-   [BroadNet hizmet şartları, bölüm 7.3a (işleme konumları) ve 7.4 (erişilebilirlik) (2026-11-15 tarihinde kontrol edildi) (İngilizce)](https://www.broadnet.ai/terms)
-   [BroadNet çıkarım gizlilik beyanı: içerik saklanmaz, eğitimde kullanılmaz, ABD donanımı ve iş ortağı yedeği (2026-11-15 tarihinde kontrol edildi) (İngilizce)](https://www.broadnet.ai/inference-privacy)
-   [OpenAI Python SDK README: yeniden denemeler, zaman aşımları ve hata sınıfları (2026-11-15 tarihinde kontrol edildi)](https://github.com/openai/openai-python)
-   [LiteLLM belgeleri, proxy güvenilirliği: fallbacks, num\_retries, allowed\_fails, cooldown\_time (2026-11-15 tarihinde kontrol edildi)](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra belgeleri, sohbete genel bakış: OpenAI uyumlu temel URL (2026-11-15 tarihinde kontrol edildi)](https://docs.deepinfra.com/chat/overview)
-   [DeepInfra model sayfası, zai-org/GLM-5.3: bağlam, fonksiyon çağırma ve JSON desteği (2026-11-15 tarihinde kontrol edildi)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Fireworks AI model sayfası, GLM 5.3: model kimliği, bağlam ve araç desteği (2026-11-15 tarihinde kontrol edildi)](https://fireworks.ai/models/fireworks/glm-5p3)
