답변이 정확히 어디서 끝나야 하는지 알 때가 있습니다. 중지 시퀀스는 버릴 토큰에 돈을 내는 대신 그 지점에서 생성을 끊으라고 서버에 알려 줍니다.
작동 방식
하나 이상의 문자열을 보냅니다. 서버는 새 토큰이 나올 때마다 출력에 그 문자열 중 하나가 들어 있는지 확인합니다. 들어 있으면 생성이 끝납니다.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
출처에 나온 제공업체별 세부 사항은 다음과 같습니다.
| 제공업체 | 필드 | 참고 |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences”(번역: 최대 4개 시퀀스). 레퍼런스에는 여전히 “Not supported with latest reasoning models o3 and o4-mini”(번역: 최신 추론 모델 o3와 o4-mini에서는 지원되지 않음)라고 적혀 있음(2026-11-16 기준 문구) |
| Anthropic Messages | stop_sequences |
응답에 stop_reason: "stop_sequence"가 오고, 일치한 문자열은 stop_sequence에 표시됨 |
| vLLM(오픈 모델 서버) | stop |
“String(s) that stop the generation when they are generated”(번역: 생성되면 생성을 멈추는 문자열). 출력에서 제외됨 |
OpenAI 형식에서는 중지 시퀀스와 일치하면 finish_reason이 stop으로 보고되며, 자연스럽게 끝났을 때와 같은 값입니다. Anthropic은 두 경우를 구분합니다.
왜 중요한가
- 비용과 지연 시간. 출력 토큰은 과금되고 생성도 느립니다. 이미 알고 있는 표시에서 멈추면 둘 다 아낄 수 있습니다.
- 형식 제어. 퓨샷 프롬프트는 예시 사이에
###같은 구분자를 자주 씁니다. 이 구분자에 중지를 걸면 모델이 다음 예시를 스스로 써 내려가는 것을 막을 수 있습니다. - 한계. 중지 시퀀스는 잘리는 지점 앞의 내용을 다듬지 못합니다. 기계가 읽을 출력이라면 구조화된 출력이 더 강력한 도구입니다. max_tokens는 절대 상한으로 유지하세요.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 stop을 문서화하지 않습니다. 의존하기 전에 테스트하세요. 표시 문자열이 나와야 하는 프롬프트를 보내고 응답이 거기서 끝나는지 확인하면 됩니다. 대비책으로 클라이언트에서 첫 번째 표시 위치에서 텍스트를 자르세요. 스트림이라면 표시가 나타나는 순간 리더를 닫을 수도 있습니다. BroadNet의 추론 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)은 답하기 전에 생각하므로, 중지 문자열이 추론 과정 안에서 일치할 수 있는지도 테스트하세요. 확인해야 할 다른 OpenAI 필드는 마이그레이션 코드 워크스루에 정리되어 있습니다.
흔한 실수
- 줄바꿈이나 흔한 단어처럼 일반 출력에도 나올 수 있는 중지 문자열을 고르는 것.
- 중지 문자열이 응답에 함께 돌아온다고 가정하고 그것을 찾아 파싱하는 것.