Системный промпт — это часть запроса, которую конечный пользователь никогда не набирает. Он говорит модели, на кого она работает и как себя вести.
Как это работает
В формате Chat Completions messages — это список объектов с полем role. Первый обычно содержит постоянные инструкции. В примере ниже модель — агент поддержки авиакомпании, который отвечает в два предложения и никогда не называет цены билетов, а пользователь спрашивает, можно ли поменять рейс:
{"messages": [
{"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
{"role": "user", "content": "Can I change my flight?"}
]}
Справочник OpenAI API описывает сообщения system и developer как “developer-provided instructions that the model should follow, regardless of messages sent by the user” (перевод: «инструкции от разработчика, которым модель должна следовать независимо от сообщений пользователя») и говорит, что в o1 и более новых моделях сообщения developer заменяют сообщения system. В руководстве OpenAI по генерации текста сообщения developer по приоритету стоят “ahead of user messages” (перевод: «выше сообщений пользователя»). Anthropic принимает системный промпт не как сообщение, а как отдельный параметр верхнего уровня system и отмечает, что даже одно предложение с ролью “focuses Claude’s behavior and tone” (перевод: «фокусирует поведение и тон Claude»).
Что обычно туда пишут: роль, задачу, жёсткие правила, формат ответа, а иногда примеры (few-shot prompting).
Почему это важно
- Стоимость. Системный промпт отправляется заново в каждом вызове как входные токены. Промпт на 2000 токенов за 10 000 запросов — это 20 млн токенов.
- Кэширование. Системный промпт не меняется и идёт первым, поэтому это самый простой префикс для кэша. Меняющиеся данные, например даты или имена пользователей, ставьте после него. Порядок показан в статье о структуре промпта для кэширования.
- Безопасность. Это слой политик, а не граница безопасности. Промпт-инъекции в документах или тексте пользователя всё равно могут сбить модель с курса.
В BroadNet Inference
BroadNet работает в формате chat completions от OpenAI, поэтому системное сообщение передаётся в messages, как выше. В примерах документации используется одно сообщение пользователя, и не описано, как каждая модель обрабатывает роль system или developer; проверьте свой промпт на модели, которую выпускаете в продакшен.
BroadNet возвращает prompt_tokens_details.cached_tokens в usage и берёт за эти токены цену входа из кэша. Пример расчёта на DeepSeek V4.1 Flash для тех же 20 млн токенов: 20 × $0.175, если ничего не попало в кэш, или 20 × $0.0055, если каждое чтение попало в кэш. Реальная доля попаданий где-то посередине; свою смотрите в cached_tokens. Первый запрос показан в быстром старте с curl.
Частые ошибки
- Ставить метку времени в начало системного промпта. Она меняется в каждом вызове и ломает кэш.
- Хранить в системном промпте секреты. Пользователи часто могут заставить модель его повторить.