BroadRouter
Начать

Стоп-последовательности (stop sequences)

Обновлено

Стоп-последовательности — это строки, которые вы передаёте в запросе, чтобы модель прекратила генерацию, как только выведет одну из них. В OpenAI поле называется stop и принимает до 4 последовательностей, в Anthropic — stop_sequences. Совпавший текст обычно не попадает в возвращаемый ответ.

Также называют: стоп-последовательность, стоп-слова, параметр stop, стоп-строки, stop sequence, stop sequences, stop parameter, stop strings, stop_sequences

Иногда вы точно знаете, где должен закончиться ответ. Стоп-последовательность говорит серверу оборвать генерацию в этом месте, чтобы не платить за токены, которые вы всё равно выбросите.

Как это работает

Вы передаёте одну или несколько строк. После каждого нового токена сервер проверяет, не содержит ли вывод одну из них. Если содержит, генерация заканчивается.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Подробности по провайдерам из источников:

Провайдер Поле Примечания
OpenAI Chat Completions stop “Up to 4 sequences” (перевод: «до 4 последовательностей»); справочник по-прежнему пишет “Not supported with latest reasoning models o3 and o4-mini” (перевод: «не поддерживается последними моделями с рассуждениями o3 и o4-mini»; формулировка на 2026-11-16)
Anthropic Messages stop_sequences В ответе есть stop_reason: "stop_sequence", а совпадение указано в stop_sequence
vLLM (серверы открытых моделей) stop “String(s) that stop the generation when they are generated” (перевод: «строки, которые останавливают генерацию, когда они сгенерированы»); в вывод не попадают

В формате OpenAI сработавшая стоп-последовательность даёт finish_reason stop — то же значение, что и при естественном завершении. Anthropic эти два случая различает.

Почему это важно

  • Стоимость и задержка. Выходные токены оплачиваются и генерируются медленно. Остановка на известном маркере экономит и то и другое.
  • Контроль формата. В few-shot промптах между примерами часто ставят разделитель, например ###. Стоп на этом разделителе не даст модели самой дописать следующий пример.
  • Ограничения. Стоп-последовательность не влияет на то, что идёт до обрезки. Для машиночитаемого вывода надёжнее структурированный вывод. Оставляйте max_tokens как жёсткий потолок.

В BroadNet Inference

Справочник API BroadNet не описывает stop. Проверьте его, прежде чем на него полагаться: отправьте промпт, который должен дойти до вашего маркера, и посмотрите, заканчивается ли ответ на нём. В качестве запасного варианта обрезайте текст в клиенте по первому маркеру; при стриминге можно также закрыть чтение, как только маркер появится. Модели с рассуждениями в BroadNet (DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B) думают, прежде чем ответить, поэтому проверьте, может ли стоп-строка совпасть внутри рассуждений. В пошаговом разборе миграции перечислены другие поля OpenAI, которые стоит проверить.

Частые ошибки

  • Выбирать стоп-строку, которая может встретиться в обычном выводе, например перевод строки или частое слово.
  • Считать, что стоп-строка вернётся в ответе, и искать её при разборе.

Вопросы и ответы

Сколько стоп-последовательностей можно передать?

Справочник OpenAI допускает до 4 последовательностей в stop. Другие провайдеры задают свои лимиты, поэтому смотрите их справочник.

Попадает ли стоп-последовательность в ответ?

Обычно нет. В документации vLLM сказано, что возвращаемый вывод не содержит стоп-строку. Anthropic сообщает, какая последовательность сработала, в отдельном поле stop_sequence.

Поддерживает ли BroadNet Inference параметр stop?

Справочник API BroadNet не описывает stop. Проверьте его на своей модели, прежде чем на него полагаться, и оставьте обрезку на стороне клиента как запасной вариант.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity