BroadRouter
Начать

Отказоустойчивость LLM API: резервный провайдер в вашем коде

Команда BroadNet Inference · 8 мин чтения · Опубликовано · Обновлено

Держите упорядоченный список OpenAI-совместимых провайдеров, у каждого свой клиент и ID модели. Переключайтесь на следующий при ошибках соединения, тайм-аутах, 5xx и 429 из-за лимита запросов, когда собственные повторы SDK исчерпаны. Никогда не переключайтесь на 400, 401, 402, 403, 413 или 422. Добавьте circuit breaker и проверьте, что резервный провайдер совпадает с основным по возможностям и условиям обработки данных.

У каждого LLM API бывают плохие минуты: 503, тайм-аут, всплеск 429. Резервирование нужно, чтобы эти минуты не превращались в простой вашего приложения. В этой статье показано, как в собственном коде переключаться между OpenAI-совместимыми провайдерами: какие ошибки должны запускать переключение, как circuit breaker сохраняет скорость и что должно совпадать у провайдеров, чтобы пользователи не заметили смены.

Сначала важное: BroadNet Inference не маршрутизирует запросы и не переключает провайдеров за вас, и BroadRouter тоже. BroadRouter — собственный сайт BroadNet, а не роутер. Резервирование вы строите сами: в клиенте, как показано ниже, или в шлюзе вроде LiteLLM.

Зачем вообще нужен резервный провайдер?

Потому что большинство API с самостоятельным подключением ничего не обещают насчёт аптайма. В условиях BroadNet в разделе 7.4 это сказано прямо: “self-serve has no availability commitment” (перевод: «у самостоятельного подключения нет обязательств по доступности»), а уровни обслуживания существуют только в отдельном письменном соглашении (проверено 15 ноября 2026 г.). Что обещают другие провайдеры, разобрано в сравнении SLA LLM API. Если ваша функция должна работать всегда, второй провайдер — практичная страховка, что бы ни говорилось в SLA.

Вторая причина — лимиты запросов. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Всплеск трафика выше этого возвращает 429, и второй провайдер может принять избыток, пока вы наращиваете мощность.

При каких ошибках переключаться на резерв?

Разделите ошибки на две группы. Одни — вина провайдера, и у другого запрос может пройти. Другие — ваша вина, и запрос упадёт везде.

Ошибка Переключаться? Почему
Ошибка соединения, тайм-аут Да, после повторов Провайдер или сеть недоступны
500, 502, 503, 504 Да, после повторов Документация BroadNet советует сначала “retry with bounded exponential backoff” (перевод: «повторить с ограниченной экспоненциальной задержкой»)
429, лимит запросов или параллельности Да, после задержки Не хватает мощности у этого провайдера, запрос в порядке
429, лимит расходов Нет Переключение обходит бюджет, который вы установили намеренно
400, 422 Нет Запрос неверен и упадёт и у следующего провайдера
401, 402 Нет Ключ, квота или баланс. В BroadNet 401 означает также исчерпанную квоту оплаты по факту, так что переключение скроет проблему с оплатой
403, 413 Нет Политика или размер; исправьте запрос

Справочник API BroadNet говорит, что 429 означает “a rate, concurrency, token-rate or spending limit was reached” (перевод: «достигнут лимит запросов, параллельности, скорости токенов или расходов»), и советует “use response details and bounded backoff” (перевод: «использовать детали ответа и ограниченную задержку»). Прочитайте эти детали до переключения, чтобы 429 из-за лимита расходов останавливал запрос, а не переносил его. Все коды состояния перечислены в руководстве по кодам ошибок.

Повторяйте, прежде чем переключаться. OpenAI Python SDK уже повторяет ошибки соединения, 408, 409, 429 и 5xx “2 times by default, with a short exponential backoff” (перевод: «по умолчанию 2 раза, с короткой экспоненциальной задержкой»), а его тайм-аут по умолчанию — 10 минут (README, проверено 15 ноября 2026 г.). Десять минут — слишком долго перед переключением. Задавайте timeout для каждого клиента. Задержка с jitter разобрана в статье об обработке 429.

Как выглядит переключение на Python?

Два клиента, упорядоченный список и небольшой circuit breaker. Основной провайдер — GLM 5.3 в BroadNet. Резервный — та же модель с открытыми весами в DeepInfra, чья документация даёт базовый URL https://api.deepinfra.com/v1/openai (проверено 15 ноября 2026 г.).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Важны четыре детали:

  1. Классы исключений. SDK выбрасывает RateLimitError на 429, InternalServerError на 500 и выше и APIConnectionError (с подклассом APITimeoutError), когда не может подключиться. Всё остальное намеренно не перехватывается. Чтобы исключить 429 из-за лимита расходов, посмотрите err.response, прежде чем продолжать.
  2. Circuit breaker. Без него каждый запрос ждёт полный тайм-аут на мёртвом основном провайдере, прежде чем двинуться дальше. После трёх неудач подряд основной провайдер пропускается на 30 секунд. Затем следующий запрос снова его проверяет.
  3. Логируйте, кто ответил. Возвращайте имя провайдера и сохраняйте reply.model. Когда качество меняется, нужно знать, какой провайдер ответил.
  4. Бюджет на рассуждения. GLM 5.3 рассуждает перед ответом. В документации BroadNet сказано, что рассуждения входят в max_tokens, поэтому оставляйте 1000 или больше у каждого провайдера.

Как сопоставить ID моделей у разных провайдеров?

У одной и той же модели с открытыми весами у каждого хоста свой ID, а заявленные возможности могут различаться. GLM 5.3 на 15 ноября 2026 г.:

BroadNet Inference DeepInfra Fireworks AI
ID модели broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Контекст 1 048 576 токенов 1 048 576 токенов “1040k” токенов
Инструменты Задокументированы Указано “Function” Поддерживаются
Структурированный вывод Задокументирован Указано “JSON” Не проверяли

Отсюда два правила. Первое: храните сопоставление в конфигурации, а не разбрасывайте по коду. Второе: подбирайте резерв под то, что используют ваши запросы. В BroadNet инструменты и структурированный вывод задокументированы только для GLM 5.3 и Qwen3.8 27B. Агент с вызовом инструментов может переключиться с GLM 5.3 на GLM 5.3 у другого провайдера. Безопасно переключиться на модель, для которой инструменты не задокументированы, он не может. Если у резерва контекстное окно меньше, обрезайте промпт или пропускайте этот резерв для длинных запросов. Базовые URL 14 провайдеров — в справочнике базовых URL.

Как сохранить сопоставимость ответов после переключения?

Одни и те же веса у двух хостов всё равно могут отвечать по-разному: хосты могут использовать разную точность, разные шаблоны чата или параметры по умолчанию. Другая модель ответит по-другому наверняка.

  • Прогоняйте свой набор для оценки на каждой записи списка, а не только на основной.
  • Фиксируйте temperature, max_tokens и системный промпт в каждом запросе, чтобы умолчания провайдера не меняли результат.
  • Валидируйте структурированный вывод одинаково на каждом пути. Цикл «починить и повторить» разобран в статье как исправить невалидный JSON.
  • Предпочитайте ту же модель у другого хоста другой модели у того же хоста. Смену стиля пользователи замечают сильнее, чем несколько секунд задержки.

А как быть со стримингом и вызовами инструментов?

Стрим может оборваться на середине. В документации BroadNet сказано, что стрим, закончившийся до data: [DONE], нужно считать неполным: запишите X-Request-ID и решите, может ли ваше приложение безопасно отправить новый запрос.

  • До первого токена: переключайтесь свободно. Пользователь ещё ничего не видел.
  • После того как токены показаны: перезапустите запрос у резервного провайдера и замените частичный ответ или покажите ошибку с кнопкой повтора. Склеенные половинки ответов от двух провайдеров читаются плохо.
  • Вызовы инструментов с побочными эффектами: никогда не перезапускайте шаг, который отправляет письмо, списывает деньги с карты или пишет в базу, только потому что упал вызов модели. Дайте каждому действию ключ идемпотентности. Контрольные точки разобраны в статье долгоживущие агенты.

Как обнаружить стрим, закончившийся раньше времени, объясняет статья стриминг через SSE.

Во что обходится переключение?

  • Дублирующая работа. Тайм-аут на вашей стороне не доказывает, что провайдер остановился. При оплате за токены каждый повтор — это новый инференс, так что за часть запросов вы заплатите дважды.
  • Другие цены. Резервный провайдер выставляет счёт по своим ставкам. DeepInfra 15 ноября 2026 г. указывала промо-цену на GLM-5.3, поэтому перепроверьте её, прежде чем закладывать в бюджет. BroadNet берёт $0.78 за вход, $0.173 за вход из кэша и $3.46 за выход за 1 млн токенов.
  • Холодный кэш. Вход из кэша не переносится между провайдерами. Первые запросы у резервного провайдера оплачивают полную цену входа за префикс, который у основного был в кэше. См. кэшированные входные токены.
  • Хеджирование. Если отправлять каждый запрос сразу двум провайдерам и брать первый ответ, хвостовая задержка снижается, но счёт примерно удваивается. Используйте это только там, где задержка того стоит.

Соответствует ли резерв тем же условиям обработки данных?

Резервный провайдер — ещё один обработчик, который получает те же промпты. Если вы что-то обещали клиентам насчёт их данных, обещание должно выполняться на каждой записи списка.

В заявлении о приватности BroadNet сказано: “We do not retain prompts, audio, images, answers or transcripts” (перевод: «Мы не храним промпты, аудио, изображения, ответы или транскрипты»). Контент инференса не хранится; необходимые метаданные аккаунта, оплаты и безопасности сохраняются так, как описано в этом заявлении. Там же сказано, что данные инференса не используются для обучения, дообучения или оценки моделей. В заявлении также сказано, что размещённые модели “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в резерве»); DeepSeek V4.1 Flash размещена у партнёра. Для данных с требованиями к месту хранения условия (раздел 7.3a) предписывают согласовать места обработки до отправки. Проверьте те же пункты у резервного провайдера: хранение, использование для обучения, расположение и субподрядчиков. Если он не дотягивает, не пускайте чувствительные запросы по резервному пути и при сбое просто возвращайте ошибку. Вопросы собраны в чек-листе нулевого хранения данных.

Может, лучше взять шлюз вроде LiteLLM?

Шлюз стоит взять, если одни и те же правила резервирования нужны нескольким сервисам. Прокси LiteLLM принимает список fallbacks, который перебирается по порядку. num_retries повторяет запрос к группе моделей, прежде чем переключиться. allowed_fails и cooldown_time выводят сбоящий деплоймент из работы на время, что работает как circuit breaker. Отдельные context_window_fallbacks и content_policy_fallbacks обрабатывают ошибки этих типов (документация LiteLLM, проверено 15 ноября 2026 г.):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

Руководство по прокси LiteLLM показывает запись для BroadNet полностью. Обе записи используют универсальный префикс LiteLLM openai/ с api_base — тот же приём, что и в руководстве. Шлюз добавляет лишний переход по сети и ещё один компонент, который нужно поддерживать. Для одного приложения хватит примерно 40 строк в клиенте, как выше.

Как проверить переключение заранее?

  1. В тестовой конфигурации направьте основного провайдера на недоступный хост и убедитесь, что запросы попадают к резервному.
  2. Отправьте заведомо невалидный запрос и убедитесь, что переключения не происходит.
  3. Используйте неверный ключ основного провайдера и убедитесь, что 401 всплывает как ошибка, а не как тихое переключение.
  4. Следите за circuit breaker: после трёх неудач основной провайдер должен пропускаться без ожидания тайм-аута.
  5. Настройте алерт, когда резервный провайдер обслуживает больше небольшой доли трафика. Тихое переключение может днями скрывать сломанного основного провайдера.

Router в LiteLLM принимает mock_testing_fallbacks=True в прямых тестах, чтобы принудительно вызвать переключение.

Какое место здесь занимает BroadNet Inference

BroadRouter — сайт BroadNet, а BroadNet Inference может быть любой записью в вашем списке. В роли основного провайдера он даёт GLM 5.3 и Qwen3.8 27B с задокументированными инструментами и структурированным выводом, плюс Gemma 4 VL 26B и DeepSeek V4.1 Flash, на одном базовом URL без хранения контента. В роли резервного это ещё один OpenAI-совместимый эндпоинт в списке. В любом случае логика переключения — ваша: BroadNet не маршрутизирует между провайдерами, а у самостоятельного подключения нет SLA. Если вам нужны уровни обслуживания по договору, они бывают только в отдельном письменном соглашении. Сравните модели или создайте аккаунт и проверьте свою цепочку со стартовым грантом $5 на Gemma 4 VL 26B. Для GLM 5.3 и Qwen3.8 27B нужно пополнить баланс.

Вопросы и ответы

При каких ошибках переключаться на резервный LLM API?

При ошибках соединения, тайм-аутах, 5xx и 429 из-за лимита запросов — после собственных повторов SDK. Не переключайтесь на 400, 401, 402, 403, 413 или 422: неверен запрос или аккаунт, и следующий провайдер упадёт так же или скроет проблему с оплатой.

BroadNet сам переключается на другого провайдера?

Нет. BroadNet Inference не маршрутизирует запросы между моделями или провайдерами, а BroadRouter, этот сайт, — информационный сайт BroadNet, а не роутер. Резервирование вы строите в своём клиенте или в шлюзе вроде LiteLLM.

Можно ли использовать один и тот же ID модели у всех провайдеров?

Нет. Каждый провайдер называет одну и ту же модель с открытыми весами по-своему. GLM 5.3 — это `broadnet/glm-5.3` в BroadNet, `zai-org/GLM-5.3` в DeepInfra и `accounts/fireworks/models/glm-5p3` в Fireworks (проверено 15 ноября 2026 г.). Храните сопоставление для каждого провайдера.

Платите ли вы за неудачные попытки?

Возможно. Тайм-аут на вашей стороне не доказывает, что провайдер прекратил работу, а при оплате за токены каждый повтор — это новый инференс. Заложите в бюджет некоторое число запросов, оплаченных дважды, и ограничьте число попыток на запрос.

Должны ли у резервного провайдера быть те же условия приватности?

Да. Резервный провайдер — ещё один обработчик, который видит те же промпты. Проверьте его условия хранения, обучения и мест обработки, прежде чем добавлять его, иначе ваше обещание о приватности действует, только пока работает основной.

Есть ли у BroadNet SLA?

Не для самостоятельного подключения. В условиях BroadNet (раздел 7.4) сказано, что у самостоятельного подключения нет обязательств по доступности; уровни обслуживания существуют только в отдельном письменном соглашении.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity