---
title: "Структура промпта для кэширования: стабильный префикс"
description: "Как выстроить промпт LLM, чтобы кэшируемый префикс не менялся: системный промпт, схемы инструментов, документы, дописываемая история и тест-доказательство."
url: https://broadrouter.com/ru/blog/prompt-structure-for-caching/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/prompt-structure-for-caching/) (обновлён 2026-11-16).

# Как структурировать промпты, чтобы префикс кэшировался

Команда BroadNet Inference · 4 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Упорядочивайте каждый запрос от самого стабильного к самому изменчивому: системный промпт, описания инструментов, справочные документы, история диалога, затем новое сообщение. Каждый слой должен быть побайтово одинаковым между вызовами: никаких меток времени и ID в начале, инструменты отсортированы, JSON сериализуется детерминированно, а история только дописывается. Затем измерьте cached\_tokens, чтобы убедиться, что префикс действительно используется повторно.

## Главное

-   Кэш сопоставляет точный префикс. Один изменённый байт делает недействительным всё, что идёт после него, поэтому порядок слоёв важнее их размера.
-   Четыре слоя, самый стабильный первым: системный промпт, инструменты, документы, история. Новая реплика пользователя идёт последней.
-   Сериализуйте инструменты и JSON-документы с отсортированными ключами и фиксированными разделителями; порядок ключей словаря — незаметный разрушитель кэша.
-   Ограничивайте инструменты для отдельного вызова через tool\_choice, а не удаляя их описания.
-   Проверьте: отправьте один и тот же префикс дважды и убедитесь, что prompt\_tokens\_details.cached\_tokens на втором вызове вырос.

**На этой странице**

1.  Почему порядок в промпте определяет долю попаданий в кэш?
2.  Какой порядок слоёв правильный?
3.  Что незаметно ломает префикс?
4.  Как собрать запрос, удобный для кэша, в коде?
5.  Как доказать, что префикс кэшируется?
6.  Что меняется для агентов и длинного контекста?
7.  Какое место здесь занимает BroadNet Inference

[Кэшированные входные токены](https://broadrouter.com/ru/glossary/cached-input-tokens/) дешёвые: в BroadNet Inference модель DeepSeek V4.1 Flash тарифицирует их по $0.0055 за 1 млн вместо $0.175. Цена и то, как читать поле usage, разобраны в [статье о кэшированных токенах](https://broadrouter.com/ru/blog/cached-input-tokens-explained/). Эта статья — о проектировании: как выстроить промпт, чтобы кэш действительно срабатывал, и как это доказать.

## Почему порядок в промпте определяет долю попаданий в кэш?

Все крупные провайдеры кэшируют по **префиксу**. В руководстве OpenAI сказано, что для повторного использования должен совпадать весь отрендеренный префикс. Документация DeepSeek описывает то же правило: запрос попадает в кэш, только если полностью совпадает с сохранённым префиксом, а запрос, который расходится с ним на середине, не попадает. Anthropic строит кэш в порядке: инструменты, system, messages.

Под капотом сервер повторно использует [KV-кэш](https://broadrouter.com/ru/glossary/kv-cache/), построенный для этого префикса. Поэтому кэш — это прямая линия от первого токена. Первый байт, который отличается от прошлого вызова, обрывает пригодную для повторного использования часть. Однострочная метка времени в начале промпта на 50 000 токенов заставит вас заплатить за все 50 000 токенов по полной цене.

## Какой порядок слоёв правильный?

| Слой | Меняется | Пример | Правило |
| --- | --- | --- | --- |
| 1\. Системный промпт | При деплое | Роль, правила, формат вывода | Никаких дат, ID, имён пользователей |
| 2\. Описания инструментов | При деплое | Схемы функций | Отсортированный, детерминированный JSON |
| 3\. Справочные материалы | На сессию или задачу | Файлы репозитория, договоры, документация продукта | Фиксированный порядок, стабильные метки |
| 4\. История диалога | На каждой реплике, только дописывается | Предыдущие реплики пользователя и ассистента | Никогда не редактировать, только добавлять |
| 5\. Новое сообщение | При каждом вызове | Вопрос плюс текущее время, если оно нужно | Изменчивые данные — сюда |

Слой 5 — место для всего изменчивого: текущей даты, локали пользователя, ID запроса, найденных фрагментов, которые отличаются от вопроса к вопросу.

## Что незаметно ломает префикс?

1.  **Порядок в словаре.** Фреймворки часто собирают массив `tools` из словаря или реестра. Если плагины загрузятся в другом порядке, байты изменятся.
2.  **Форматирование JSON.** `json.dumps(x)` и `json.dumps(x, indent=2)` — разные префиксы. Как и два сериализатора с разным порядком ключей.
3.  **Пробелы в шаблоне.** Пробел в конце строки или `\r\n` из одной ветки кода и `\n` из другой.
4.  **Динамические списки инструментов.** Удаление инструментов, недоступных пользователю, меняет префикс. Руководство OpenAI рекомендует держать описания стабильными и ограничивать использование через `tool_choice` или настройку разрешённых инструментов.
5.  **Пересказ истории на месте.** Переписывание старых реплик в сводку сбрасывает всё, что идёт после системного промпта. Пересказывайте редко и крупными шагами.
6.  **Результаты поиска перед инструкциями.** Фрагменты RAG между системным промптом и инструментами отличаются для каждого запроса и ломают заодно и слой инструментов.

## Как собрать запрос, удобный для кэша, в коде?

Сделайте каждый слой функцией только от стабильных входных данных и сериализуйте детерминированно:

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
```

Две детали. Текущее время идёт в последнее сообщение, а не в системный промпт. А история хранит сообщение ассистента ровно в том виде, в каком оно вернулось, так что следующий вызов отправит идентичные байты.

## Как доказать, что префикс кэшируется?

Запустите тест из двух вызовов в CI или в ноутбуке:

1.  Соберите запрос с реальным системным промптом, инструментами и документами.
2.  Отправьте его. Запишите `usage.prompt_tokens`.
3.  Измените только последнее сообщение пользователя и отправьте снова.
4.  Прочитайте `usage.prompt_tokens_details.cached_tokens` во втором вызове. Он должен покрывать почти весь общий префикс.
5.  Если он нулевой или маленький, сравните сериализованные тела запросов побайтово. Первое различие и есть то, что ломает кэш.

У большинства провайдеров кэширование работает по возможности, и документация DeepSeek говорит об этом прямо, так что один промах ещё не доказывает ошибку. Систематический промах — доказывает. Отслеживайте отношение токенов из кэша к токенам промпта по каждому запросу в своих [логах использования](https://broadrouter.com/ru/blog/llm-api-usage-logging/), а [калькулятор кэширования промптов](https://broadrouter.com/tools/prompt-caching-calculator/) покажет, сколько сэкономит более высокая доля попаданий.

## Что меняется для агентов и длинного контекста?

Агенты выигрывают больше всех, потому что заново отправляют один и тот же большой префикс десятки раз за задачу. Важны две привычки:

-   **Один диалог на задачу.** Новый диалог для каждого подшага выбрасывает префикс.
-   **Читайте файлы один раз, ближе к началу.** Если агент перечитывает файл, дописывайте новую копию, а не заменяйте старую, если только файл не изменился.

С [контекстным окном на 1 млн токенов](https://broadrouter.com/ru/blog/million-token-context-window-guide/) слой 3 может вместить целый репозиторий. На ключе с оплатой за токены это по карману, только если он кэшируется, поэтому порядок слоёв тем важнее, чем длиннее промпты. Кэшированные префиксы к тому же обычно сокращают время до первого токена; см. [TTFT и пропускная способность](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/).

## Какое место здесь занимает BroadNet Inference

В BroadNet Inference блок usage сообщает `prompt_tokens_details.cached_tokens`, если модель это возвращает, а вход из кэша на [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) и [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) оплачивается по более низкой ставке, указанной на [странице цен](https://broadrouter.com/ru/pricing/). В документации BroadNet нет явных точек разрыва кэша или параметра ключа кэша, так что описанная выше схема — это и есть вся техника. На безлимитном тарифе кэш не влияет на счёт, потому что у сессий нет счётчика токенов, но та же структура всё равно помогает с задержкой.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/)

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/)

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[ИИ-агент (AI agent)](https://broadrouter.com/ru/glossary/agent/)

ИИ-агент — это система, в которой языковая модель сама направляет свои шаги к цели: решает, какие инструменты вызвать, читает результаты и повторяет, пока не выдаст итоговый ответ или не упрётся в лимит. Фиксированный сценарий, который вызывает модель в заранее заданных местах, обычно называют не агентом, а workflow.

[KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/)

KV-кэш — это память, в которой трансформерная языковая модель хранит ключи и значения внимания, вычисленные для каждого уже обработанного токена, чтобы каждый новый токен использовал их повторно, а не пересчитывал всю последовательность. Он растёт с длиной контекста и часто ограничивает число запросов, которые может обслужить GPU.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

## Вопросы и ответы

### Почему у меня низкая доля попаданий в кэш промптов?

Что-то в начале промпта меняется при каждом вызове. Обычные причины: метка времени или ID запроса в системном промпте, инструменты, сериализованные в другом порядке, найденные документы, поставленные перед инструкциями, или история, которую пересказывают и переписывают.

### Ставить вопрос пользователя до или после длинных документов?

После. Документы — в начало, вопрос — в конец. Тогда документы образуют префикс, пригодный для повторного использования, а многие модели к тому же отвечают лучше, когда вопрос идёт после материала.

### Ломают ли описания инструментов кэширование промптов?

Только если они меняются. Инструменты — часть префикса, поэтому держите тот же набор в том же порядке с тем же JSON. Чтобы ограничить инструменты для одного вызова, используйте tool\_choice, а не правку списка.

### Важен ли порядок few-shot примеров для кэширования?

Да. Перемешанные примеры каждый раз дают другой префикс. Зафиксируйте порядок или ставьте примеры, которые меняются от запроса к запросу, после стабильной части.

## Читайте также

-   [Кэшированные входные токены: как снизить счёт за LLM API](https://broadrouter.com/ru/blog/cached-input-tokens-explained/)
-   [Когда контекстное окно на 1 млн токенов оправдано (а когда нет)](https://broadrouter.com/ru/blog/million-token-context-window-guide/)
-   [Фиксированный тариф или оплата за токены в LLM API: когда выгоднее](https://broadrouter.com/ru/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-prompt-structure-for-caching&utm_content=page-cta) ·

**Источники**

-   [Справочник API BroadNet Inference, токены из кэша в usage (проверено 2026-11-16) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-prompt-structure-for-caching&utm_content=sources)
-   [Руководство OpenAI по кэшированию промптов, сопоставление префикса и советы по структуре (дата обращения 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Документация Anthropic по кэшированию промптов, порядок кэша: инструменты, затем system, затем messages (проверено 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Документация DeepSeek API, кэширование контекста (дата обращения 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
