---
title: "Резервный провайдер LLM API (failover) на Python | BroadRouter"
description: "Как переключаться между OpenAI-совместимыми LLM-провайдерами: на каких ошибках, circuit breaker, ID моделей, стриминг, цена и равные условия приватности."
url: https://broadrouter.com/ru/blog/llm-api-failover-fallback/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/llm-api-failover-fallback/) (обновлён 2026-11-16).

# Отказоустойчивость LLM API: резервный провайдер в вашем коде

Команда BroadNet Inference · 8 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

Держите упорядоченный список OpenAI-совместимых провайдеров, у каждого свой клиент и ID модели. Переключайтесь на следующий при ошибках соединения, тайм-аутах, 5xx и 429 из-за лимита запросов, когда собственные повторы SDK исчерпаны. Никогда не переключайтесь на 400, 401, 402, 403, 413 или 422. Добавьте circuit breaker и проверьте, что резервный провайдер совпадает с основным по возможностям и условиям обработки данных.

## Главное

-   Переключайтесь на резерв при ошибках соединения, тайм-аутах, 5xx и 429 из-за лимита запросов, после ограниченного числа повторов. Ошибка 400, 401, 402, 403, 413 или 422 так же повторится и у следующего провайдера.
-   ID моделей у провайдеров разные: GLM 5.3 — это \`broadnet/glm-5.3\` в BroadNet, \`zai-org/GLM-5.3\` в DeepInfra и \`accounts/fireworks/models/glm-5p3\` в Fireworks.
-   Circuit breaker избавляет от тайм-аута на каждом запросе, пока основной провайдер лежит.
-   Стрим переключайте только до первого токена и никогда не перезапускайте вызов инструмента, который что-то меняет.
-   BroadNet и BroadRouter не маршрутизируют запросы и не переключают провайдеров за вас. Самостоятельное подключение BroadNet не даёт обязательств по доступности, поэтому продакшен-приложениям нужен резерв.

**На этой странице**

1.  Зачем вообще нужен резервный провайдер?
2.  При каких ошибках переключаться на резерв?
3.  Как выглядит переключение на Python?
4.  Как сопоставить ID моделей у разных провайдеров?
5.  Как сохранить сопоставимость ответов после переключения?
6.  А как быть со стримингом и вызовами инструментов?
7.  Во что обходится переключение?
8.  Соответствует ли резерв тем же условиям обработки данных?
9.  Может, лучше взять шлюз вроде LiteLLM?
10.  Как проверить переключение заранее?
11.  Какое место здесь занимает BroadNet Inference

У каждого LLM API бывают плохие минуты: 503, тайм-аут, всплеск 429. Резервирование нужно, чтобы эти минуты не превращались в простой вашего приложения. В этой статье показано, как в собственном коде переключаться между [OpenAI-совместимыми](https://broadrouter.com/ru/glossary/openai-compatible-api/) провайдерами: какие ошибки должны запускать переключение, как circuit breaker сохраняет скорость и что должно совпадать у провайдеров, чтобы пользователи не заметили смены.

Сначала важное: **BroadNet Inference не маршрутизирует запросы и не переключает провайдеров за вас**, и BroadRouter тоже. BroadRouter — собственный сайт BroadNet, а не роутер. Резервирование вы строите сами: в клиенте, как показано ниже, или в шлюзе вроде LiteLLM.

## Зачем вообще нужен резервный провайдер?

Потому что большинство API с самостоятельным подключением ничего не обещают насчёт аптайма. В [условиях](https://www.broadnet.ai/terms) BroadNet в разделе 7.4 это сказано прямо: “self-serve has no availability commitment” (перевод: «у самостоятельного подключения нет обязательств по доступности»), а уровни обслуживания существуют только в отдельном письменном соглашении (проверено 15 ноября 2026 г.). Что обещают другие провайдеры, разобрано в [сравнении SLA LLM API](https://broadrouter.com/ru/blog/llm-api-sla-uptime-compared/). Если ваша функция должна работать всегда, второй провайдер — практичная страховка, что бы ни говорилось в SLA.

Вторая причина — [лимиты запросов](https://broadrouter.com/ru/glossary/rate-limit/). Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Всплеск трафика выше этого возвращает 429, и второй провайдер может принять избыток, пока вы наращиваете мощность.

## При каких ошибках переключаться на резерв?

Разделите ошибки на две группы. Одни — вина провайдера, и у другого запрос может пройти. Другие — ваша вина, и запрос упадёт везде.

| Ошибка | Переключаться? | Почему |
| --- | --- | --- |
| Ошибка соединения, тайм-аут | Да, после повторов | Провайдер или сеть недоступны |
| 500, 502, 503, 504 | Да, после повторов | Документация BroadNet советует сначала “retry with bounded exponential backoff” (перевод: «повторить с ограниченной экспоненциальной задержкой») |
| 429, лимит запросов или параллельности | Да, после задержки | Не хватает мощности у этого провайдера, запрос в порядке |
| 429, лимит расходов | Нет | Переключение обходит бюджет, который вы установили намеренно |
| 400, 422 | Нет | Запрос неверен и упадёт и у следующего провайдера |
| 401, 402 | Нет | Ключ, квота или баланс. В BroadNet 401 означает также исчерпанную квоту оплаты по факту, так что переключение скроет проблему с оплатой |
| 403, 413 | Нет | Политика или размер; исправьте запрос |

[Справочник API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-api-failover-fallback&utm_content=body) BroadNet говорит, что 429 означает “a rate, concurrency, token-rate or spending limit was reached” (перевод: «достигнут лимит запросов, параллельности, скорости токенов или расходов»), и советует “use response details and bounded backoff” (перевод: «использовать детали ответа и ограниченную задержку»). Прочитайте эти детали до переключения, чтобы 429 из-за лимита расходов останавливал запрос, а не переносил его. Все коды состояния перечислены в [руководстве по кодам ошибок](https://broadrouter.com/ru/guides/errors-and-retries/).

Повторяйте, прежде чем переключаться. OpenAI Python SDK уже повторяет ошибки соединения, 408, 409, 429 и 5xx “2 times by default, with a short exponential backoff” (перевод: «по умолчанию 2 раза, с короткой экспоненциальной задержкой»), а его тайм-аут по умолчанию — 10 минут ([README](https://github.com/openai/openai-python), проверено 15 ноября 2026 г.). Десять минут — слишком долго перед переключением. Задавайте `timeout` для каждого клиента. Задержка с jitter разобрана в [статье об обработке 429](https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/).

## Как выглядит переключение на Python?

Два клиента, упорядоченный список и небольшой circuit breaker. Основной провайдер — GLM 5.3 в BroadNet. Резервный — та же модель с открытыми весами в DeepInfra, чья документация даёт базовый URL `https://api.deepinfra.com/v1/openai` (проверено 15 ноября 2026 г.).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Важны четыре детали:

1.  **Классы исключений.** SDK выбрасывает `RateLimitError` на 429, `InternalServerError` на 500 и выше и `APIConnectionError` (с подклассом `APITimeoutError`), когда не может подключиться. Всё остальное намеренно не перехватывается. Чтобы исключить 429 из-за лимита расходов, посмотрите `err.response`, прежде чем продолжать.
2.  **Circuit breaker.** Без него каждый запрос ждёт полный тайм-аут на мёртвом основном провайдере, прежде чем двинуться дальше. После трёх неудач подряд основной провайдер пропускается на 30 секунд. Затем следующий запрос снова его проверяет.
3.  **Логируйте, кто ответил.** Возвращайте имя провайдера и сохраняйте `reply.model`. Когда качество меняется, нужно знать, какой провайдер ответил.
4.  **Бюджет на рассуждения.** GLM 5.3 рассуждает перед ответом. В документации BroadNet сказано, что рассуждения входят в `max_tokens`, поэтому оставляйте 1000 или больше у каждого провайдера.

## Как сопоставить ID моделей у разных провайдеров?

У одной и той же модели с открытыми весами у каждого хоста свой ID, а заявленные возможности могут различаться. GLM 5.3 на 15 ноября 2026 г.:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| ID модели | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Контекст | 1 048 576 токенов | 1 048 576 токенов | “1040k” токенов |
| Инструменты | Задокументированы | Указано “Function” | Поддерживаются |
| Структурированный вывод | Задокументирован | Указано “JSON” | Не проверяли |

Отсюда два правила. Первое: храните сопоставление в конфигурации, а не разбрасывайте по коду. Второе: подбирайте резерв под то, что используют ваши запросы. В BroadNet инструменты и структурированный вывод задокументированы только для GLM 5.3 и Qwen3.8 27B. Агент с вызовом инструментов может переключиться с GLM 5.3 на GLM 5.3 у другого провайдера. Безопасно переключиться на модель, для которой инструменты не задокументированы, он не может. Если у резерва контекстное окно меньше, обрезайте промпт или пропускайте этот резерв для длинных запросов. Базовые URL 14 провайдеров — в [справочнике базовых URL](https://broadrouter.com/ru/blog/openai-compatible-api-base-urls/).

## Как сохранить сопоставимость ответов после переключения?

Одни и те же веса у двух хостов всё равно могут отвечать по-разному: хосты могут использовать разную точность, разные шаблоны чата или параметры по умолчанию. Другая модель ответит по-другому наверняка.

-   Прогоняйте свой [набор для оценки](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/) на каждой записи списка, а не только на основной.
-   Фиксируйте `temperature`, `max_tokens` и системный промпт в каждом запросе, чтобы умолчания провайдера не меняли результат.
-   Валидируйте структурированный вывод одинаково на каждом пути. Цикл «починить и повторить» разобран в статье [как исправить невалидный JSON](https://broadrouter.com/ru/blog/fix-invalid-json-from-llm/).
-   Предпочитайте ту же модель у другого хоста другой модели у того же хоста. Смену стиля пользователи замечают сильнее, чем несколько секунд задержки.

## А как быть со стримингом и вызовами инструментов?

Стрим может оборваться на середине. В документации BroadNet сказано, что стрим, закончившийся до `data: [DONE]`, нужно считать неполным: запишите `X-Request-ID` и решите, может ли ваше приложение безопасно отправить новый запрос.

-   **До первого токена:** переключайтесь свободно. Пользователь ещё ничего не видел.
-   **После того как токены показаны:** перезапустите запрос у резервного провайдера и замените частичный ответ или покажите ошибку с кнопкой повтора. Склеенные половинки ответов от двух провайдеров читаются плохо.
-   **Вызовы инструментов с побочными эффектами:** никогда не перезапускайте шаг, который отправляет письмо, списывает деньги с карты или пишет в базу, только потому что упал вызов модели. Дайте каждому действию [ключ идемпотентности](https://broadrouter.com/ru/glossary/idempotency-key/). Контрольные точки разобраны в статье [долгоживущие агенты](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/).

Как обнаружить стрим, закончившийся раньше времени, объясняет статья [стриминг через SSE](https://broadrouter.com/ru/blog/llm-streaming-sse-explained/).

## Во что обходится переключение?

-   **Дублирующая работа.** Тайм-аут на вашей стороне не доказывает, что провайдер остановился. При оплате за токены каждый повтор — это новый инференс, так что за часть запросов вы заплатите дважды.
-   **Другие цены.** Резервный провайдер выставляет счёт по своим ставкам. DeepInfra 15 ноября 2026 г. указывала промо-цену на GLM-5.3, поэтому перепроверьте её, прежде чем закладывать в бюджет. BroadNet берёт $0.78 за вход, $0.173 за вход из кэша и $3.46 за выход за 1 млн токенов.
-   **Холодный кэш.** Вход из кэша не переносится между провайдерами. Первые запросы у резервного провайдера оплачивают полную цену входа за префикс, который у основного был в кэше. См. [кэшированные входные токены](https://broadrouter.com/ru/blog/cached-input-tokens-explained/).
-   **Хеджирование.** Если отправлять каждый запрос сразу двум провайдерам и брать первый ответ, хвостовая задержка снижается, но счёт примерно удваивается. Используйте это только там, где задержка того стоит.

## Соответствует ли резерв тем же условиям обработки данных?

Резервный провайдер — ещё один обработчик, который получает те же промпты. Если вы что-то обещали клиентам насчёт их данных, обещание должно выполняться на каждой записи списка.

В [заявлении о приватности](https://www.broadnet.ai/inference-privacy) BroadNet сказано: “We do not retain prompts, audio, images, answers or transcripts” (перевод: «Мы не храним промпты, аудио, изображения, ответы или транскрипты»). Контент инференса не хранится; необходимые метаданные аккаунта, оплаты и безопасности сохраняются так, как описано в этом заявлении. Там же сказано, что данные инференса не используются для обучения, дообучения или оценки моделей. В заявлении также сказано, что размещённые модели “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в резерве»); DeepSeek V4.1 Flash размещена у партнёра. Для данных с требованиями к месту хранения условия (раздел 7.3a) предписывают согласовать места обработки до отправки. Проверьте те же пункты у резервного провайдера: хранение, использование для обучения, расположение и субподрядчиков. Если он не дотягивает, не пускайте чувствительные запросы по резервному пути и при сбое просто возвращайте ошибку. Вопросы собраны в [чек-листе нулевого хранения данных](https://broadrouter.com/ru/blog/zero-data-retention-llm-api-checklist/).

## Может, лучше взять шлюз вроде LiteLLM?

Шлюз стоит взять, если одни и те же правила резервирования нужны нескольким сервисам. Прокси LiteLLM принимает список `fallbacks`, который перебирается по порядку. `num_retries` повторяет запрос к группе моделей, прежде чем переключиться. `allowed_fails` и `cooldown_time` выводят сбоящий деплоймент из работы на время, что работает как circuit breaker. Отдельные `context_window_fallbacks` и `content_policy_fallbacks` обрабатывают ошибки этих типов ([документация LiteLLM](https://docs.litellm.ai/docs/proxy/reliability), проверено 15 ноября 2026 г.):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[Руководство по прокси LiteLLM](https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/) показывает запись для BroadNet полностью. Обе записи используют универсальный префикс LiteLLM `openai/` с `api_base` — тот же приём, что и в руководстве. Шлюз добавляет лишний переход по сети и ещё один компонент, который нужно поддерживать. Для одного приложения хватит примерно 40 строк в клиенте, как выше.

## Как проверить переключение заранее?

1.  В тестовой конфигурации направьте основного провайдера на недоступный хост и убедитесь, что запросы попадают к резервному.
2.  Отправьте заведомо невалидный запрос и убедитесь, что переключения **не** происходит.
3.  Используйте неверный ключ основного провайдера и убедитесь, что 401 всплывает как ошибка, а не как тихое переключение.
4.  Следите за circuit breaker: после трёх неудач основной провайдер должен пропускаться без ожидания тайм-аута.
5.  Настройте алерт, когда резервный провайдер обслуживает больше небольшой доли трафика. Тихое переключение может днями скрывать сломанного основного провайдера.

`Router` в LiteLLM принимает `mock_testing_fallbacks=True` в прямых тестах, чтобы принудительно вызвать переключение.

## Какое место здесь занимает BroadNet Inference

BroadRouter — сайт BroadNet, а BroadNet Inference может быть любой записью в вашем списке. В роли основного провайдера он даёт GLM 5.3 и Qwen3.8 27B с задокументированными инструментами и структурированным выводом, плюс Gemma 4 VL 26B и DeepSeek V4.1 Flash, на одном [базовом URL](https://broadrouter.com/ru/glossary/base-url/) без хранения контента. В роли резервного это ещё один OpenAI-совместимый эндпоинт в списке. В любом случае логика переключения — ваша: BroadNet не маршрутизирует между провайдерами, а у самостоятельного подключения нет SLA. Если вам нужны уровни обслуживания по договору, они бывают только в отдельном письменном соглашении. Сравните [модели](https://broadrouter.com/ru/models/) или [создайте аккаунт](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-api-failover-fallback&utm_content=body) и проверьте свою цепочку со стартовым грантом $5 на Gemma 4 VL 26B. Для GLM 5.3 и Qwen3.8 27B нужно пополнить баланс.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Экспоненциальная задержка (exponential backoff)](https://broadrouter.com/ru/glossary/exponential-backoff/)

Экспоненциальная задержка (exponential backoff) — это стратегия повторов, при которой клиент после каждой неудачной попытки ждёт дольше, обычно удваивая паузу до потолка, прежде чем попробовать снова. Случайный джиттер в каждой паузе разносит повторы множества клиентов, чтобы они не били в сервер одновременно.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Резервная модель (model fallback)](https://broadrouter.com/ru/glossary/model-fallback/)

Model fallback (переключение на резервную модель) — это паттерн надёжности, при котором неудавшийся запрос к LLM повторяется на другой модели или у другого провайдера из упорядоченного списка. Поводом может быть ошибка, лимит запросов, превышение длины контекста или отказ по контент-политике. Он работает в вашем клиенте или в шлюзе перед API.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[SLA (соглашение об уровне обслуживания)](https://broadrouter.com/ru/glossary/sla/)

SLA (соглашение об уровне обслуживания, service level agreement) — это договорное обязательство провайдера обеспечить измеримый уровень сервиса, обычно процент доступности за месяц, с заранее определённой компенсацией, как правило сервисными кредитами, если он не выдержан. SLA определяет, что считается простоем, что исключено и как подать заявку.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Лимит расходов (spend limit)](https://broadrouter.com/ru/glossary/spend-limit/)

Лимит расходов — это потолок суммы, которую аккаунт, проект или ключ API может потратить за период, обычно за месяц. Когда расход его достигает, провайдер отклоняет новые запросы, часто с ошибкой HTTP 429 или 400, пока не начнётся новый период или лимит не поднимут.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

## Вопросы и ответы

### При каких ошибках переключаться на резервный LLM API?

При ошибках соединения, тайм-аутах, 5xx и 429 из-за лимита запросов — после собственных повторов SDK. Не переключайтесь на 400, 401, 402, 403, 413 или 422: неверен запрос или аккаунт, и следующий провайдер упадёт так же или скроет проблему с оплатой.

### BroadNet сам переключается на другого провайдера?

Нет. BroadNet Inference не маршрутизирует запросы между моделями или провайдерами, а BroadRouter, этот сайт, — информационный сайт BroadNet, а не роутер. Резервирование вы строите в своём клиенте или в шлюзе вроде LiteLLM.

### Можно ли использовать один и тот же ID модели у всех провайдеров?

Нет. Каждый провайдер называет одну и ту же модель с открытыми весами по-своему. GLM 5.3 — это \`broadnet/glm-5.3\` в BroadNet, \`zai-org/GLM-5.3\` в DeepInfra и \`accounts/fireworks/models/glm-5p3\` в Fireworks (проверено 15 ноября 2026 г.). Храните сопоставление для каждого провайдера.

### Платите ли вы за неудачные попытки?

Возможно. Тайм-аут на вашей стороне не доказывает, что провайдер прекратил работу, а при оплате за токены каждый повтор — это новый инференс. Заложите в бюджет некоторое число запросов, оплаченных дважды, и ограничьте число попыток на запрос.

### Должны ли у резервного провайдера быть те же условия приватности?

Да. Резервный провайдер — ещё один обработчик, который видит те же промпты. Проверьте его условия хранения, обучения и мест обработки, прежде чем добавлять его, иначе ваше обещание о приватности действует, только пока работает основной.

### Есть ли у BroadNet SLA?

Не для самостоятельного подключения. В условиях BroadNet (раздел 7.4) сказано, что у самостоятельного подключения нет обязательств по доступности; уровни обслуживания существуют только в отдельном письменном соглашении.

## Читайте также

-   [Ошибка 429 в LLM API: экспоненциальная задержка, jitter и лимитеры](https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/)
-   [Долгоживущие ИИ-агенты: таймауты, повторы и чекпойнты](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/)
-   [Базовые URL OpenAI-совместимых API: 14 провайдеров с проверкой](https://broadrouter.com/ru/blog/openai-compatible-api-base-urls/)
-   [SLA LLM API: что обещают Azure, Bedrock, Google и OpenAI](https://broadrouter.com/ru/blog/llm-api-sla-uptime-compared/)
-   [Как оценить LLM перед сменой провайдера](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Руководство: LiteLLM и BroadNet Inference: SDK и прокси](https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Источники**

-   [Справочник API BroadNet Inference: ошибки и повторы, лимиты, стриминг, возможности моделей (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-api-failover-fallback&utm_content=sources)
-   [Условия обслуживания BroadNet, разделы 7.3a (места обработки) и 7.4 (доступность) (проверено 2026-11-15) (на английском)](https://www.broadnet.ai/terms)
-   [Заявление BroadNet о приватности инференса: без хранения контента, без обучения, оборудование в США с резервными мощностями партнёров (проверено 2026-11-15) (на английском)](https://www.broadnet.ai/inference-privacy)
-   [README OpenAI Python SDK: повторы, тайм-ауты и классы ошибок (проверено 2026-11-15)](https://github.com/openai/openai-python)
-   [Документация LiteLLM, надёжность прокси: fallbacks, num\_retries, allowed\_fails, cooldown\_time (проверено 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Документация DeepInfra, обзор чата: OpenAI-совместимый базовый URL (проверено 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Страница модели DeepInfra, zai-org/GLM-5.3: контекст, function calling и поддержка JSON (проверено 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Страница модели Fireworks AI, GLM 5.3: ID модели, контекст и поддержка инструментов (проверено 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
