BroadRouter
Başlayın

Yedek modele geçiş (model fallback)

Güncellendi

Yedek modele geçiş (model fallback), başarısız bir LLM isteğinin sıralı bir listedeki farklı bir model veya sağlayıcıda yeniden denendiği bir güvenilirlik kalıbıdır. Tetikleyici bir hata, hız sınırı, bağlam uzunluğu hatası veya içerik politikası reddi olabilir. İstemcinizde ya da API'lerin önündeki bir gateway'de çalışır.

Diğer adları: yedek modele geçiş, yedek model, model yük devri, sağlayıcı yedeği, model fallback, fallback model, model failover, provider fallback

Her API’nin kötü dakikaları olur. Fallback, bir sağlayıcıdaki kötü bir dakikanın uygulamanızda kesintiye dönüşmemesi demektir.

Nasıl çalışır

Sıralı bir model listesi tutarsınız. Bir çağrı kendi yeniden denemelerinden sonra başarısız olursa, aynı istek listedeki bir sonraki modele gider.

Kaynaklardaki iki gateway:

Gateway Fallback nasıl çalışır
LiteLLM proxy fallbacks model gruplarını listeler ve bunlar “in-order” (çeviri: sırayla) denenir. Ayrı context_window_fallbacks ve content_policy_fallbacks bu hata türlerini ele alır. num_retries yedeğe geçmeden önce bir grubu yeniden dener; allowed_fails ve cooldown_time başarısız olan bir dağıtımı bir süreliğine devre dışı bırakır.
OpenRouter Bir models dizisi. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (çeviri: İlk model hata döndürürse OpenRouter otomatik olarak listedeki bir sonraki modeli dener.) Bağlam uzunluğu, moderasyon, hız sınırları ve kesintiler dahil her hata bunu tetikleyebilir. Son model de başarısız olursa o hata döndürülür.

İstemci tarafında asgari bir sürüm:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Neden önemli

  • Çalışma süresi. İkinci bir sağlayıcı, ilkindeki olayları ve hız sınırlarını karşılar.
  • Farklı çıktı. Yedek model farklı yazar, araçları farklı kullanır ve daha pahalı olabilir. Eval setinizi yalnızca ilk modelde değil, zincirdeki her modelde çalıştırın.
  • Kendi hatalarınızda yedeğe geçmeyin. 400 veya 422, isteğin hatalı olduğu anlamına gelir; sonraki modelde de başarısız olur. 429, zaman aşımları ve 5xx’te, sınırlı üstel geri çekilmeden sonra yedeğe geçin.

BroadNet Inference’ta

BroadNet istekleri otomatik olarak yönlendirmez ve modeller arasında fallback yoktur. Bu site, yani BroadRouter, BroadNet’in bilgi sitesidir ve o da istekleri yönlendirmez. Fallback’i kendiniz uygularsınız: yukarıdaki gibi istemcinizde (bir devre kesici ve model kimliği eşlemesi ekleyen LLM API failover rehberine bakın) ya da bir gateway’de; BroadNet’i sağlayıcı olarak eklemek için LLM router ve LiteLLM proxy rehberine bakın. BroadNet’in API referansı, 5xx’i sınırlı üstel geri çekilmeyle yeniden denemenizi, 429’da ise yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanmanızı söyler. Hatalar ve yeniden denemeler rehberi her durum kodunu listeler.

Sık yapılan hatalar

  • 401 veya 402 hatalarında yedeğe geçmek; bu, bir faturalandırma veya anahtar sorununu gizler.
  • Her yanıtı hangi modelin verdiğini loglamamak; bu, kalite değişikliklerinin izini sürmeyi zorlaştırır.

Sık sorulan sorular

Önce yeniden denemeli miyim, yoksa yedeğe mi geçmeliyim?

503 gibi kısa arızalarda önce yeniden deneyin. LiteLLM de böyle çalışır: bir çağrı num_retries kez başarısız olduktan sonra başka bir model grubuna geçer.

Yedeğe geçişten sonra hangi model için ücret ödenir?

OpenRouter'da isteği karşılayan model için: istekler "are priced using the model that was ultimately used" (çeviri: sonunda kullanılan modele göre fiyatlandırılır) ve bu, yanıttaki model alanında bildirilir.

BroadNet otomatik olarak yönlendirir veya yedeğe geçer mi?

Hayır. BroadNet otomatik yönlendirme sunmaz; BroadRouter da bir router değil, BroadNet'in bilgi sitesidir. Yedeğe geçişi istemcinizde kurun veya önüne LiteLLM gibi bir gateway koyun.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor