У любого API бывают плохие минуты. Fallback нужен для того, чтобы плохая минута у одного провайдера не превращалась в простой вашего приложения.
Как это работает
Вы держите упорядоченный список моделей. Когда вызов не удался — после собственных повторов, — тот же запрос получает следующая модель в списке.
Два шлюза из источников:
| Шлюз | Как работает fallback |
|---|---|
| Прокси LiteLLM | fallbacks перечисляет группы моделей, которые пробуются “in-order” (перевод: «по порядку»). Отдельные context_window_fallbacks и content_policy_fallbacks обрабатывают ошибки этих типов. num_retries повторяет вызов группы перед переключением; allowed_fails и cooldown_time выводят сбоящее развёртывание из работы на время. |
| OpenRouter | Массив models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (перевод: «Если первая модель возвращает ошибку, OpenRouter автоматически пробует следующую модель в списке».) Сработать может любая ошибка, включая длину контекста, модерацию, лимиты запросов и недоступность. Если не справилась и последняя модель, возвращается её ошибка. |
Минимальный вариант на стороне клиента:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Почему это важно
- Доступность. Второй провайдер прикрывает инциденты и лимиты запросов у первого.
- Другие ответы. Резервная модель пишет иначе, по-другому работает с инструментами и может стоить дороже. Прогоняйте свой eval на каждой модели цепочки, а не только на первой.
- Не переключайтесь из-за собственных багов. 400 или 422 означают, что запрос составлен неверно; на следующей модели он тоже не пройдёт. Переключайтесь при 429, тайм-аутах и 5xx после ограниченной экспоненциальной задержки.
В BroadNet Inference
BroadNet не маршрутизирует запросы автоматически и не переключается между моделями. BroadRouter, этот сайт, — информационный сайт BroadNet, и он тоже не маршрутизирует запросы. Fallback вы реализуете сами: в клиенте, как показано выше (пошаговое руководство по failover для LLM API добавляет circuit breaker и сопоставление ID моделей), или в шлюзе; как добавить BroadNet в качестве провайдера, смотрите в статье LLM-роутер и в руководстве по прокси LiteLLM. Справочник API BroadNet советует повторять 5xx с ограниченной экспоненциальной задержкой, а при 429 опираться на детали ответа и ограниченную задержку. Все статусы перечислены в руководстве по ошибкам и повторам.
Частые ошибки
- Переключаться на резерв при ошибках 401 или 402: так скрывается проблема с оплатой или ключом.
- Не логировать, какая модель обслужила каждый ответ: тогда изменения качества трудно отследить.