Иногда вы точно знаете, где должен закончиться ответ. Стоп-последовательность говорит серверу оборвать генерацию в этом месте, чтобы не платить за токены, которые вы всё равно выбросите.
Как это работает
Вы передаёте одну или несколько строк. После каждого нового токена сервер проверяет, не содержит ли вывод одну из них. Если содержит, генерация заканчивается.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Подробности по провайдерам из источников:
| Провайдер | Поле | Примечания |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences” (перевод: «до 4 последовательностей»); справочник по-прежнему пишет “Not supported with latest reasoning models o3 and o4-mini” (перевод: «не поддерживается последними моделями с рассуждениями o3 и o4-mini»; формулировка на 2026-11-16) |
| Anthropic Messages | stop_sequences |
В ответе есть stop_reason: "stop_sequence", а совпадение указано в stop_sequence |
| vLLM (серверы открытых моделей) | stop |
“String(s) that stop the generation when they are generated” (перевод: «строки, которые останавливают генерацию, когда они сгенерированы»); в вывод не попадают |
В формате OpenAI сработавшая стоп-последовательность даёт finish_reason stop — то же значение, что и при естественном завершении. Anthropic эти два случая различает.
Почему это важно
- Стоимость и задержка. Выходные токены оплачиваются и генерируются медленно. Остановка на известном маркере экономит и то и другое.
- Контроль формата. В few-shot промптах между примерами часто ставят разделитель, например
###. Стоп на этом разделителе не даст модели самой дописать следующий пример. - Ограничения. Стоп-последовательность не влияет на то, что идёт до обрезки. Для машиночитаемого вывода надёжнее структурированный вывод. Оставляйте max_tokens как жёсткий потолок.
В BroadNet Inference
Справочник API BroadNet не описывает stop. Проверьте его, прежде чем на него полагаться: отправьте промпт, который должен дойти до вашего маркера, и посмотрите, заканчивается ли ответ на нём. В качестве запасного варианта обрезайте текст в клиенте по первому маркеру; при стриминге можно также закрыть чтение, как только маркер появится. Модели с рассуждениями в BroadNet (DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B) думают, прежде чем ответить, поэтому проверьте, может ли стоп-строка совпасть внутри рассуждений. В пошаговом разборе миграции перечислены другие поля OpenAI, которые стоит проверить.
Частые ошибки
- Выбирать стоп-строку, которая может встретиться в обычном выводе, например перевод строки или частое слово.
- Считать, что стоп-строка вернётся в ответе, и искать её при разборе.