BroadRouter
Inizia

Fallback del modello (model fallback)

Aggiornato

Il fallback del modello è uno schema di affidabilità in cui una richiesta LLM fallita viene ritentata su un altro modello o provider di una lista ordinata. Può scattare per un errore, un rate limit, un errore di lunghezza del contesto o un rifiuto per policy sui contenuti. Gira nel client o in un gateway davanti alle API.

Detto anche: fallback del modello, fallback LLM, modello di riserva, failover LLM, failover tra provider, model fallback, fallback model, model failover, provider fallback

Ogni API ha i suoi minuti difficili. Con il fallback, un minuto difficile presso un provider non diventa un disservizio nella tua app.

Come funziona

Tieni una lista ordinata di modelli. Quando una chiamata fallisce, dopo i suoi retry, la stessa richiesta passa al successivo della lista.

Due gateway dalle fonti:

Gateway Come funziona il fallback
Proxy LiteLLM fallbacks elenca gruppi di modelli, provati “in-order” (in ordine). context_window_fallbacks e content_policy_fallbacks, separati, gestiscono quei tipi di errore. num_retries ritenta un gruppo prima del fallback; allowed_fails e cooldown_time escludono per un po’ un deployment che fallisce.
OpenRouter Un array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (traduzione: se il primo modello restituisce un errore, OpenRouter prova automaticamente il successivo della lista). Qualsiasi errore può attivarlo, compresi lunghezza del contesto, moderazione, rate limit e indisponibilità. Se fallisce anche l’ultimo modello, viene restituito quell’errore.

Una versione minima lato client:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Perché è importante

  • Uptime. Un secondo provider copre gli incidenti e i rate limit del primo.
  • Output diverso. Il modello di riserva scrive in modo diverso, usa i tool in modo diverso e può costare di più. Esegui la tua eval su ogni modello della catena, non solo sul primo.
  • Non fare fallback sui tuoi bug. Un 400 o un 422 significa che la richiesta è sbagliata; fallirà anche sul modello successivo. Fai fallback su 429, timeout e 5xx dopo un backoff esponenziale limitato.

Su BroadNet Inference

BroadNet non instrada le richieste in automatico e non ha fallback tra modelli. Nemmeno BroadRouter, questo sito, instrada richieste: è il sito informativo di BroadNet. Il fallback lo implementi tu: nel client, come sopra (la guida al failover delle API LLM aggiunge un circuit breaker e la mappatura degli ID dei modelli), oppure in un gateway; vedi LLM router e la guida al proxy LiteLLM per aggiungere BroadNet come provider. Il riferimento API di BroadNet dice di ritentare i 5xx con backoff esponenziale limitato e di usare i dettagli della risposta e un backoff limitato sui 429. La guida a errori e retry elenca ogni codice di stato.

Errori comuni

  • Fare fallback sugli errori 401 o 402, il che nasconde un problema di fatturazione o di chiave.
  • Non registrare quale modello ha servito ogni risposta, così i cambi di qualità diventano difficili da ricostruire.

Domande frequenti

Devo prima ritentare o passare al fallback?

Ritenta prima per i guasti brevi come un 503. LiteLLM funziona così: passa a un altro gruppo di modelli solo dopo che una chiamata è fallita num_retries volte.

Quale modello mi viene addebitato dopo un fallback?

Su OpenRouter, quello che ha servito la richiesta: dice che le richieste "are priced using the model that was ultimately used" (traduzione: sono tariffate in base al modello effettivamente usato), indicato nel campo model della risposta.

BroadNet fa routing o fallback automatico?

No. BroadNet non offre routing automatico, e BroadRouter è il sito informativo di BroadNet, non un router. Costruisci il fallback nel tuo client oppure metti davanti un gateway come LiteLLM.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity