Контекстное окно — это рабочая память модели на один запрос. Всё, что модели нужно увидеть, и всё, что она напишет в ответ, должно в него поместиться.
Как это работает
Окно измеряется в токенах. Документация Anthropic описывает его как “all the text a language model can reference when generating a response, including the response itself” (перевод: «весь текст, к которому языковая модель может обращаться при генерации ответа, включая сам ответ»). Сюда входят:
- системный промпт и все сообщения, включая предыдущие реплики;
- описания инструментов и результаты их вызовов;
- документы и изображения;
- ответ, включая скрытые токены рассуждений.
Бюджет общий. При окне в 1 048 576 токенов промпт на 1 040 000 токенов оставляет около 8000 токенов на рассуждения и ответ. Задавайте max_tokens с учётом этого.
Модель не помнит прошлые запросы. Чат кажется непрерывным только потому, что клиент на каждом шаге заново отправляет историю, и длинный диалог постепенно заполняет окно.
Почему это важно
- Возможности. Большое окно позволяет уместить в один запрос целую кодовую базу, пакет договоров или многочасовые расшифровки, и модель сможет связывать факты между ними.
- Стоимость. На ключе с оплатой за токены каждый токен в окне оплачивается как вход. Кэширование снижает цену повторяющихся префиксов, но токены из кэша всё равно занимают окно.
- Качество. Больше — не всегда лучше. Потерю точности в очень длинных промптах Anthropic называет “context rot” (перевод: «гниение контекста»). Отбирайте то, что отправляете.
- Задержка. На длинных промптах первый токен появляется позже.
В BroadNet Inference
| Модель | Контекстное окно |
|---|---|
| DeepSeek V4.1 Flash | 1 048 576 токенов |
| GLM 5.3 | 1 048 576 токенов |
| Qwen3.8 27B | 262 144 токена |
| BroadNet Gemma 4 VL 26B | 32 768 токенов |
Окно включает и промпт, и ответ, а BroadNet не обрезает ваш контекст. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, поэтому оставляйте запас: полное окно при маленьком бюджете на ответ даёт пустой ответ. См. почему модели с рассуждениями возвращают пустые ответы.
Безлимитные тарифы включают полное окно в 1 млн токенов у DeepSeek V4.1 Flash. Когда такой объём контекста выгоднее поиска (retrieval), читайте в руководстве по контекстному окну в 1 млн токенов.
Частые ошибки
- Принимать окно за длину ответа. Лимит ответа задаётся отдельно через
max_tokens. - Бесконечно отправлять всю историю. Сжимайте или отбрасывайте старые реплики, пока окно не заполнилось.