BroadRouter

Контроль расходов на LLM API: бюджеты, лимиты ключей, защита от циклов

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Контролируйте расходы на LLM API слоями: предоплаченный баланс как потолок аккаунта, отдельный ключ на каждое приложение с привязкой к IP ваших серверов, max_tokens и лимит шагов в каждом запросе и бюджет в коде, который останавливает задачу до перерасхода. Логируйте токены по ключам и настраивайте алерты по своим цифрам. Тарифы с фиксированной ценой и почасовые ключи ограничивают худший случай.

У большинства неприятных сюрпризов в счетах за LLM одна и та же причина: что-то продолжало вызывать API, а никто за этим не следил. Цикл повторов, агент, который не смог закончить, ключ, утёкший в публичный репозиторий. Алерты о бюджете сообщают об этом постфактум. В этой статье контроль расходов строится слоями, от аккаунта до отдельного запроса, и показано, какие части берёт на себя BroadNet Inference, а какие вы добавляете в коде.

Почему алертов недостаточно?

Алерт сравнивает расходы с порогом после того, как использование записано. Цикл агента может делать десятки запросов в минуту. Пока придёт письмо, деньги уже потрачены. Используйте алерты как страховку, а жёсткую остановку ставьте там, где выполняется запрос.

Из каких слоёв состоит контроль расходов на LLM?

Слой Механизм Что предотвращает Где настраивается
Аккаунт Предоплаченный баланс Расходы сверх внесённой суммы Аккаунт у провайдера
Ключ Отдельный ключ на приложение или агента Одна утечка, которая забирает всё Портал провайдера
Ключ Белый список IP Использование украденного ключа в другом месте Портал провайдера
Запрос max_tokens, reasoning_effort Один огромный ответ Ваш код
Задача Лимит шагов, лимит повторов, обнаружение циклов Неуправляемые агенты Ваш код
Задача Текущий бюджет на задачу и на день Медленные утечки на множестве вызовов Ваш код или прокси
Отчётность Логирование токенов и алерты Дрейф, который вы бы не заметили Ваши логи
Ценообразование Тариф с фиксированной ценой или почасовой ключ Сам счётчик токенов Выбор тарифа

Уровень аккаунта: как предоплаченный баланс ограничивает расходы?

Ключи BroadNet Inference с оплатой по факту списывают средства с предоплаченного баланса аккаунта; новые аккаунты начинают со стартового гранта $5 без карты. Когда квота оплаты по факту исчерпана, запросы возвращают 401, а покупка, которую баланс не покрывает (например, почасовой ключ), возвращает 402 insufficient_balance. Считайте оба ответа сигналом остановиться, а не поводом для повтора. В справочнике ошибок BroadNet лимит расходов также указан среди причин 429, поэтому читайте тело ошибки, прежде чем повторять любой 429. Все коды ошибок и как обрабатывать 429 с задержкой.

Баланс — ваш внешний потолок. Пополняйте его на сумму, которую готовы потерять в этом месяце, а не на год вперёд. Чтобы определить эту сумму, сначала прогоните ожидаемый трафик через калькулятор стоимости LLM API.

Уровень ключа: как ограничить ущерб от утечки ключа?

API-ключ — это право тратить: любой, у кого он есть, может расходовать ваш баланс. Ограничьте радиус поражения каждого ключа:

  1. Отдельный ключ на каждое приложение, агента или окружение. BroadNet допускает до 10 действующих ключей на аккаунт, каждый сроком до года. Называйте их так, чтобы по логам было видно, какой ключ потратил деньги.
  2. Привяжите ключи к своим серверам. Добавьте исходящие IP или диапазоны CIDR в белый список IP, до 32 записей. Запросы с других адресов получают 403.
  3. Отзывайте быстро. Отзыв ключей и изменения белого списка применяются к новым запросам в течение пяти секунд.
  4. Не держите учётные данные портала на серверах. С ними можно создавать ключи и совершать покупки. Ключи инференса только вызывают модели.

Защитите API-ключи белыми списками IP.

Уровень запроса: как ограничить каждый ответ?

Задавайте max_tokens в каждом вызове. На моделях с рассуждениями (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) держите его не ниже 1000, потому что размышления делят тот же бюджет, а слишком низкое значение возвращает пустой ответ, за который вы всё равно платите. На простых задачах снижайте reasoning_effort. Как оплачиваются токены рассуждений.

Уровень задачи: как остановить неуправляемый цикл агента?

У неуправляемых циклов узнаваемые признаки: один и тот же повторяющийся вызов инструмента, контекст, растущий с каждым шагом, и ошибки, которые повторяются без ограничений. Оберните клиент защитой:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

Защита берёт цены из прайса, а не из констант в коде, поэтому остаётся корректной при изменении цен. Передавайте в call() ту же модель, по которой считали цену. Держите max_retries небольшим: OpenAI SDK уже повторяют 429 и 5xx, и каждый повтор оплачивается заново.

Для команды запускайте ту же проверку в общем прокси, чтобы все сервисы расходовали один дневной бюджет. Повторы к тому же упираются в лимиты запросов: калькулятор лимитов запросов показывает, сколько вызовов в минуту на самом деле допускает ваш ключ.

Отчётность: что логировать и на что настраивать алерты?

По каждому запросу логируйте: псевдоним ключа, название функции или агента, модель, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, код состояния и X-Request-ID. При стриминге задайте stream_options: {"include_usage": true}, иначе usage не придёт вообще (руководство по стримингу).

По этим логам настройте алерты на:

  • дневную стоимость по ключу выше ожидаемой по вашей оценке стоимости;
  • число токенов на задачу более чем втрое выше медианы;
  • падение доли кэша, которое повышает стоимость без роста трафика;
  • рост доли ответов 429 или 5xx, что означает повторы.

BroadNet хранит записи без контента — время, число токенов и стоимость, но не промпты, — так что детализация по функциям живёт в ваших собственных логах. Не логируйте содержимое промптов, если это запрещает ваша политика обработки данных. Как построить логирование использования со стоимостью по пользователям и функциям.

Уровень цены: когда фиксированная цена лучше бюджета?

Самый надёжный контроль расходов — цена, которая не меняется:

  • Сессия тарифа: $60 в месяц (Full Moon), $15 в неделю (Orbit) или $1 в час (Meteor) за безлимитный DeepSeek V4.1 Flash, один запрос за раз. Запросы по ключу тарифа никогда не списываются с баланса.
  • Почасовой ключ: $0.50 за час Gemma 4 VL 26B в одном потоке. Подходит для ключей, которые покидают ваши серверы. Как работают почасовые ключи.

Цикл на тарифе тратит время, а не деньги. Лимит шагов всё равно нужен, потому что застрявший агент занимает сессию, которая нужна для другой работы. Дешевле ли тариф, чем счёт по счётчику, зависит от объёма; калькулятор «фиксированный тариф или оплата за токены» покажет точку окупаемости для вашего соотношения токенов.

Ставки за токены к тому же могут вырасти. 52 повышения цен на LLM API по архивным снимкам показывают, как часто это случалось, у каких провайдеров и насколько.

Короткий чек-лист

  1. Предоплаченный баланс в размере месячного лимита.
  2. Отдельный именованный ключ на каждое приложение, с белым списком IP.
  3. max_tokens в каждом запросе.
  4. Лимит шагов, лимит повторов и обнаружение повторяющихся вызовов у каждого агента.
  5. Текущая стоимость по задаче, проверяемая перед каждым вызовом.
  6. Логирование токенов по каждому запросу с алертами по вашим порогам.
  7. Тариф с фиксированной ценой или почасовой ключ везде, где использование непрерывное или ключ выходит наружу.

Какое место здесь занимает BroadNet Inference

BroadNet даёт вам уровни аккаунта и ключей: предоплаченный баланс, отдельные ключи, белые списки IP с отзывом за секунды, а также тарифы с фиксированной ценой и почасовые ключи. Бюджетов на уровне задач из этой статьи BroadNet не предоставляет; их место — в вашем коде или прокси. Если вам нужны бюджеты по командам на множество провайдеров, правильный инструмент — шлюз перед всеми ними. Посмотреть цены.

Вопросы и ответы

Как установить лимит расходов на LLM API?

Используйте предоплаченный баланс или лимит расходов провайдера как внешнюю границу, а затем в коде перед каждым запросом проверяйте собственный бюджет на задачу и на день, потому что лимиты и алерты провайдера могут отставать от быстрого цикла.

Как не дать ИИ-агенту накрутить огромный счёт?

Ограничьте число шагов на задачу и число повторов, задавайте max_tokens в каждом запросе, отслеживайте повторяющиеся одинаковые вызовы инструментов и останавливайте задачу, когда её текущая стоимость превышает бюджет.

Повторять ли запрос при ошибке 401 или 402, когда закончился баланс?

Нет. В BroadNet исчерпанная квота оплаты по факту возвращает 401, а 402 insufficient_balance означает, что баланса не хватает на покупку, например почасового ключа. Сначала пополните аккаунт. Повторять с задержкой нужно 429 и 5xx.

Что логировать, чтобы отслеживать расходы на LLM?

По каждому запросу логируйте псевдоним ключа, название функции или агента, модель, prompt_tokens, cached_tokens, completion_tokens, код состояния и ID запроса. Умножьте на цены из файла цен — получите стоимость.

Является ли тариф с фиксированной ценой способом контроля расходов?

Да. Сессия тарифа или почасовой ключ стоят одинаково, сколько бы токенов ни было израсходовано, так что цикл стоит времени, а не денег.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity