Ogni API ha i suoi minuti difficili. Con il fallback, un minuto difficile presso un provider non diventa un disservizio nella tua app.
Come funziona
Tieni una lista ordinata di modelli. Quando una chiamata fallisce, dopo i suoi retry, la stessa richiesta passa al successivo della lista.
Due gateway dalle fonti:
| Gateway | Come funziona il fallback |
|---|---|
| Proxy LiteLLM | fallbacks elenca gruppi di modelli, provati “in-order” (in ordine). context_window_fallbacks e content_policy_fallbacks, separati, gestiscono quei tipi di errore. num_retries ritenta un gruppo prima del fallback; allowed_fails e cooldown_time escludono per un po’ un deployment che fallisce. |
| OpenRouter | Un array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (traduzione: se il primo modello restituisce un errore, OpenRouter prova automaticamente il successivo della lista). Qualsiasi errore può attivarlo, compresi lunghezza del contesto, moderazione, rate limit e indisponibilità. Se fallisce anche l’ultimo modello, viene restituito quell’errore. |
Una versione minima lato client:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Perché è importante
- Uptime. Un secondo provider copre gli incidenti e i rate limit del primo.
- Output diverso. Il modello di riserva scrive in modo diverso, usa i tool in modo diverso e può costare di più. Esegui la tua eval su ogni modello della catena, non solo sul primo.
- Non fare fallback sui tuoi bug. Un 400 o un 422 significa che la richiesta è sbagliata; fallirà anche sul modello successivo. Fai fallback su 429, timeout e 5xx dopo un backoff esponenziale limitato.
Su BroadNet Inference
BroadNet non instrada le richieste in automatico e non ha fallback tra modelli. Nemmeno BroadRouter, questo sito, instrada richieste: è il sito informativo di BroadNet. Il fallback lo implementi tu: nel client, come sopra (la guida al failover delle API LLM aggiunge un circuit breaker e la mappatura degli ID dei modelli), oppure in un gateway; vedi LLM router e la guida al proxy LiteLLM per aggiungere BroadNet come provider. Il riferimento API di BroadNet dice di ritentare i 5xx con backoff esponenziale limitato e di usare i dettagli della risposta e un backoff limitato sui 429. La guida a errori e retry elenca ogni codice di stato.
Errori comuni
- Fare fallback sugli errori 401 o 402, il che nasconde un problema di fatturazione o di chiave.
- Non registrare quale modello ha servito ogni risposta, così i cambi di qualità diventano difficili da ricostruire.