BroadRouter
Начать

Контекстное окно (context window)

Обновлено

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

Также называют: контекст, длина контекста, размер контекста, лимит токенов, лимит контекста, context window, context length, context size, token limit, context limit

Контекстное окно — это рабочая память модели на один запрос. Всё, что модели нужно увидеть, и всё, что она напишет в ответ, должно в него поместиться.

Как это работает

Окно измеряется в токенах. Документация Anthropic описывает его как “all the text a language model can reference when generating a response, including the response itself” (перевод: «весь текст, к которому языковая модель может обращаться при генерации ответа, включая сам ответ»). Сюда входят:

  • системный промпт и все сообщения, включая предыдущие реплики;
  • описания инструментов и результаты их вызовов;
  • документы и изображения;
  • ответ, включая скрытые токены рассуждений.

Бюджет общий. При окне в 1 048 576 токенов промпт на 1 040 000 токенов оставляет около 8000 токенов на рассуждения и ответ. Задавайте max_tokens с учётом этого.

Модель не помнит прошлые запросы. Чат кажется непрерывным только потому, что клиент на каждом шаге заново отправляет историю, и длинный диалог постепенно заполняет окно.

Почему это важно

  • Возможности. Большое окно позволяет уместить в один запрос целую кодовую базу, пакет договоров или многочасовые расшифровки, и модель сможет связывать факты между ними.
  • Стоимость. На ключе с оплатой за токены каждый токен в окне оплачивается как вход. Кэширование снижает цену повторяющихся префиксов, но токены из кэша всё равно занимают окно.
  • Качество. Больше — не всегда лучше. Потерю точности в очень длинных промптах Anthropic называет “context rot” (перевод: «гниение контекста»). Отбирайте то, что отправляете.
  • Задержка. На длинных промптах первый токен появляется позже.

В BroadNet Inference

Модель Контекстное окно
DeepSeek V4.1 Flash 1 048 576 токенов
GLM 5.3 1 048 576 токенов
Qwen3.8 27B 262 144 токена
BroadNet Gemma 4 VL 26B 32 768 токенов

Окно включает и промпт, и ответ, а BroadNet не обрезает ваш контекст. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, поэтому оставляйте запас: полное окно при маленьком бюджете на ответ даёт пустой ответ. См. почему модели с рассуждениями возвращают пустые ответы.

Безлимитные тарифы включают полное окно в 1 млн токенов у DeepSeek V4.1 Flash. Когда такой объём контекста выгоднее поиска (retrieval), читайте в руководстве по контекстному окну в 1 млн токенов.

Частые ошибки

  • Принимать окно за длину ответа. Лимит ответа задаётся отдельно через max_tokens.
  • Бесконечно отправлять всю историю. Сжимайте или отбрасывайте старые реплики, пока окно не заполнилось.

Вопросы и ответы

Что будет, если промпт длиннее контекстного окна?

API отклонит запрос, обычно с ошибкой 400. Anthropic, например, возвращает "prompt is too long" (перевод: «промпт слишком длинный»). Некоторые чат-приложения сами обрезают старые сообщения; большинство API этого не делают.

Чем больше контекстное окно, тем всегда лучше?

Нет. Длинные промпты дороже и дольше обрабатываются, а Anthropic отмечает, что точность и полнота извлечения могут падать с ростом числа токенов. Отправляйте то, что нужно задаче.

Обрезает ли BroadNet мой контекст?

Нет. BroadNet Inference не обрезает контекст. Если запрос не помещается, сократите его сами.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity