max_tokens — это бюджет на выход для одного ответа. Он защищает от бесконечных ответов, но при слишком низком значении обрезает ответ или не даёт получить ничего.
Как это работает
Модель генерирует по одному токену за раз. Когда счёт доходит до max_tokens, генерация останавливается, даже посреди предложения. Ответ сообщает, почему он закончился:
finish_reason |
Значение |
|---|---|
stop |
Модель закончила сама |
length |
Достигнут лимит max_tokens |
tool_calls |
Модель просит вызвать инструмент |
У параметра несколько имён. В Chat Completions API OpenAI max_tokens теперь помечен как устаревший в пользу max_completion_tokens — верхней границы, которая включает и видимый ответ, и токены рассуждений. В Responses API OpenAI используется max_output_tokens, в Messages API Anthropic — max_tokens. Многие OpenAI-совместимые провайдеры принимают max_tokens.
Промпт и ответ делят одно контекстное окно. Если окно — 32 768 токенов, а промпт — 30 000, вернуться может не больше 2768 токенов, что бы ни было указано в max_tokens.
Почему это важно
- Контроль расходов. На ключе с оплатой за токены
max_tokens— это максимум, который один ответ может стоить на выходе. - Пустые ответы. У моделей с рассуждениями размышления расходуют тот же бюджет. Лимит в 100 токенов может целиком уйти на токены рассуждений: видимый ответ будет пустым, а
finish_reason—length. - Сломанный JSON. Обрезанный ответ оставляет структурированный вывод неполным, и его не разобрать. Проверяйте
finish_reasonдо разбора.
В BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и в документации BroadNet сказано, что рассуждения учитываются в max_tokens. Задавайте от 1000 токенов, не задавайте параметр вовсе или уменьшите reasoning_effort. В примере ниже модель просят кратко изложить пункт договора, а при finish_reason == "length" код печатает подсказку увеличить max_tokens или уменьшить reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Размер контекста зависит от модели: 1 048 576 токенов у DeepSeek V4.1 Flash и GLM 5.3, 262 144 у Qwen3.8 27B и 32 768 у BroadNet Gemma 4 VL 26B. См. страницы моделей и почему модели с рассуждениями возвращают пустые ответы.
Частые ошибки
- Переносить при миграции маленький лимит от модели без рассуждений. См. чек-лист миграции.
- Считать
lengthуспехом. Логируйте его и повторяйте запрос с бо́льшим запасом.