Her API’nin kötü dakikaları olur. Fallback, bir sağlayıcıdaki kötü bir dakikanın uygulamanızda kesintiye dönüşmemesi demektir.
Nasıl çalışır
Sıralı bir model listesi tutarsınız. Bir çağrı kendi yeniden denemelerinden sonra başarısız olursa, aynı istek listedeki bir sonraki modele gider.
Kaynaklardaki iki gateway:
| Gateway | Fallback nasıl çalışır |
|---|---|
| LiteLLM proxy | fallbacks model gruplarını listeler ve bunlar “in-order” (çeviri: sırayla) denenir. Ayrı context_window_fallbacks ve content_policy_fallbacks bu hata türlerini ele alır. num_retries yedeğe geçmeden önce bir grubu yeniden dener; allowed_fails ve cooldown_time başarısız olan bir dağıtımı bir süreliğine devre dışı bırakır. |
| OpenRouter | Bir models dizisi. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (çeviri: İlk model hata döndürürse OpenRouter otomatik olarak listedeki bir sonraki modeli dener.) Bağlam uzunluğu, moderasyon, hız sınırları ve kesintiler dahil her hata bunu tetikleyebilir. Son model de başarısız olursa o hata döndürülür. |
İstemci tarafında asgari bir sürüm:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Neden önemli
- Çalışma süresi. İkinci bir sağlayıcı, ilkindeki olayları ve hız sınırlarını karşılar.
- Farklı çıktı. Yedek model farklı yazar, araçları farklı kullanır ve daha pahalı olabilir. Eval setinizi yalnızca ilk modelde değil, zincirdeki her modelde çalıştırın.
- Kendi hatalarınızda yedeğe geçmeyin. 400 veya 422, isteğin hatalı olduğu anlamına gelir; sonraki modelde de başarısız olur. 429, zaman aşımları ve 5xx’te, sınırlı üstel geri çekilmeden sonra yedeğe geçin.
BroadNet Inference’ta
BroadNet istekleri otomatik olarak yönlendirmez ve modeller arasında fallback yoktur. Bu site, yani BroadRouter, BroadNet’in bilgi sitesidir ve o da istekleri yönlendirmez. Fallback’i kendiniz uygularsınız: yukarıdaki gibi istemcinizde (bir devre kesici ve model kimliği eşlemesi ekleyen LLM API failover rehberine bakın) ya da bir gateway’de; BroadNet’i sağlayıcı olarak eklemek için LLM router ve LiteLLM proxy rehberine bakın. BroadNet’in API referansı, 5xx’i sınırlı üstel geri çekilmeyle yeniden denemenizi, 429’da ise yanıt ayrıntılarını ve sınırlı geri çekilmeyi kullanmanızı söyler. Hatalar ve yeniden denemeler rehberi her durum kodunu listeler.
Sık yapılan hatalar
- 401 veya 402 hatalarında yedeğe geçmek; bu, bir faturalandırma veya anahtar sorununu gizler.
- Her yanıtı hangi modelin verdiğini loglamamak; bu, kalite değişikliklerinin izini sürmeyi zorlaştırır.