BroadRouter
시작하기

중지 시퀀스(stop sequences)

업데이트

중지 시퀀스(stop sequences)는 요청과 함께 보내는 문자열로, 모델이 그중 하나를 생성하는 즉시 생성을 멈추게 합니다. OpenAI는 이 필드를 stop이라 부르며 최대 4개까지 받고, Anthropic은 stop_sequences라고 부릅니다. 일치한 텍스트는 보통 반환되는 출력에서 빠집니다.

다른 이름: 중지 시퀀스, 정지 시퀀스, 스톱 시퀀스, stop 파라미터, 중지 문자열, stop sequence, stop parameter, stop strings, stop_sequences

답변이 정확히 어디서 끝나야 하는지 알 때가 있습니다. 중지 시퀀스는 버릴 토큰에 돈을 내는 대신 그 지점에서 생성을 끊으라고 서버에 알려 줍니다.

작동 방식

하나 이상의 문자열을 보냅니다. 서버는 새 토큰이 나올 때마다 출력에 그 문자열 중 하나가 들어 있는지 확인합니다. 들어 있으면 생성이 끝납니다.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

출처에 나온 제공업체별 세부 사항은 다음과 같습니다.

제공업체 필드 참고
OpenAI Chat Completions stop “Up to 4 sequences”(번역: 최대 4개 시퀀스). 레퍼런스에는 여전히 “Not supported with latest reasoning models o3 and o4-mini”(번역: 최신 추론 모델 o3와 o4-mini에서는 지원되지 않음)라고 적혀 있음(2026-11-16 기준 문구)
Anthropic Messages stop_sequences 응답에 stop_reason: "stop_sequence"가 오고, 일치한 문자열은 stop_sequence에 표시됨
vLLM(오픈 모델 서버) stop “String(s) that stop the generation when they are generated”(번역: 생성되면 생성을 멈추는 문자열). 출력에서 제외됨

OpenAI 형식에서는 중지 시퀀스와 일치하면 finish_reason이 stop으로 보고되며, 자연스럽게 끝났을 때와 같은 값입니다. Anthropic은 두 경우를 구분합니다.

왜 중요한가

  • 비용과 지연 시간. 출력 토큰은 과금되고 생성도 느립니다. 이미 알고 있는 표시에서 멈추면 둘 다 아낄 수 있습니다.
  • 형식 제어. 퓨샷 프롬프트는 예시 사이에 ### 같은 구분자를 자주 씁니다. 이 구분자에 중지를 걸면 모델이 다음 예시를 스스로 써 내려가는 것을 막을 수 있습니다.
  • 한계. 중지 시퀀스는 잘리는 지점 앞의 내용을 다듬지 못합니다. 기계가 읽을 출력이라면 구조화된 출력이 더 강력한 도구입니다. max_tokens는 절대 상한으로 유지하세요.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 stop을 문서화하지 않습니다. 의존하기 전에 테스트하세요. 표시 문자열이 나와야 하는 프롬프트를 보내고 응답이 거기서 끝나는지 확인하면 됩니다. 대비책으로 클라이언트에서 첫 번째 표시 위치에서 텍스트를 자르세요. 스트림이라면 표시가 나타나는 순간 리더를 닫을 수도 있습니다. BroadNet의 추론 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)은 답하기 전에 생각하므로, 중지 문자열이 추론 과정 안에서 일치할 수 있는지도 테스트하세요. 확인해야 할 다른 OpenAI 필드는 마이그레이션 코드 워크스루에 정리되어 있습니다.

흔한 실수

  • 줄바꿈이나 흔한 단어처럼 일반 출력에도 나올 수 있는 중지 문자열을 고르는 것.
  • 중지 문자열이 응답에 함께 돌아온다고 가정하고 그것을 찾아 파싱하는 것.

자주 묻는 질문

중지 시퀀스는 몇 개까지 보낼 수 있나요?

OpenAI 레퍼런스는 stop에 최대 4개의 시퀀스를 허용합니다. 다른 제공업체는 각자 한도를 정하므로 해당 레퍼런스를 확인하세요.

응답에 중지 시퀀스도 포함되나요?

보통은 포함되지 않습니다. vLLM 문서에 따르면 반환되는 출력에서 중지 문자열은 빠집니다. Anthropic은 어떤 시퀀스가 작동했는지 별도의 stop_sequence 필드로 알려 줍니다.

BroadNet Inference는 stop을 지원하나요?

BroadNet API 레퍼런스는 stop을 문서화하지 않습니다. 의존하기 전에 사용하는 모델에서 테스트하고, 대비책으로 클라이언트 쪽에서 자르는 처리도 유지하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기