BroadRouter
Начать

Резервная модель (model fallback)

Обновлено

Model fallback (переключение на резервную модель) — это паттерн надёжности, при котором неудавшийся запрос к LLM повторяется на другой модели или у другого провайдера из упорядоченного списка. Поводом может быть ошибка, лимит запросов, превышение длины контекста или отказ по контент-политике. Он работает в вашем клиенте или в шлюзе перед API.

Также называют: fallback модели, резервная модель, переключение на резервную модель, фолбэк LLM, отказоустойчивость LLM API, резервный провайдер, model fallback, fallback model, model failover, provider fallback

У любого API бывают плохие минуты. Fallback нужен для того, чтобы плохая минута у одного провайдера не превращалась в простой вашего приложения.

Как это работает

Вы держите упорядоченный список моделей. Когда вызов не удался — после собственных повторов, — тот же запрос получает следующая модель в списке.

Два шлюза из источников:

Шлюз Как работает fallback
Прокси LiteLLM fallbacks перечисляет группы моделей, которые пробуются “in-order” (перевод: «по порядку»). Отдельные context_window_fallbacks и content_policy_fallbacks обрабатывают ошибки этих типов. num_retries повторяет вызов группы перед переключением; allowed_fails и cooldown_time выводят сбоящее развёртывание из работы на время.
OpenRouter Массив models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (перевод: «Если первая модель возвращает ошибку, OpenRouter автоматически пробует следующую модель в списке».) Сработать может любая ошибка, включая длину контекста, модерацию, лимиты запросов и недоступность. Если не справилась и последняя модель, возвращается её ошибка.

Минимальный вариант на стороне клиента:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Почему это важно

  • Доступность. Второй провайдер прикрывает инциденты и лимиты запросов у первого.
  • Другие ответы. Резервная модель пишет иначе, по-другому работает с инструментами и может стоить дороже. Прогоняйте свой eval на каждой модели цепочки, а не только на первой.
  • Не переключайтесь из-за собственных багов. 400 или 422 означают, что запрос составлен неверно; на следующей модели он тоже не пройдёт. Переключайтесь при 429, тайм-аутах и 5xx после ограниченной экспоненциальной задержки.

В BroadNet Inference

BroadNet не маршрутизирует запросы автоматически и не переключается между моделями. BroadRouter, этот сайт, — информационный сайт BroadNet, и он тоже не маршрутизирует запросы. Fallback вы реализуете сами: в клиенте, как показано выше (пошаговое руководство по failover для LLM API добавляет circuit breaker и сопоставление ID моделей), или в шлюзе; как добавить BroadNet в качестве провайдера, смотрите в статье LLM-роутер и в руководстве по прокси LiteLLM. Справочник API BroadNet советует повторять 5xx с ограниченной экспоненциальной задержкой, а при 429 опираться на детали ответа и ограниченную задержку. Все статусы перечислены в руководстве по ошибкам и повторам.

Частые ошибки

  • Переключаться на резерв при ошибках 401 или 402: так скрывается проблема с оплатой или ключом.
  • Не логировать, какая модель обслужила каждый ответ: тогда изменения качества трудно отследить.

Вопросы и ответы

Что делать сначала: повторять запрос или переключаться на резерв?

При кратковременных сбоях, например 503, сначала повторяйте. Так работает LiteLLM: на другую группу моделей он переключается только после того, как вызов не удался num_retries раз.

За какую модель я плачу после переключения на резерв?

В OpenRouter — за ту, которая обслужила запрос: там сказано, что запросы "are priced using the model that was ultimately used" (перевод: «тарифицируются по модели, которая в итоге была использована»), и она указывается в поле model ответа.

Делает ли BroadNet маршрутизацию или fallback автоматически?

Нет. BroadNet не предлагает автоматической маршрутизации, а BroadRouter — информационный сайт BroadNet, а не роутер. Реализуйте fallback в своём клиенте или поставьте перед API шлюз вроде LiteLLM.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity