BroadRouter

추론 토큰(reasoning tokens)

업데이트

추론 토큰(reasoning tokens)은 추론 모델이 눈에 보이는 답변을 쓰기 전에 문제를 풀기 위해 생성하는 토큰입니다. 보통 출력 토큰으로 과금되고, 출력 한도와 컨텍스트 윈도우에 포함되며, API에 따라 숨겨지거나 요약되어 제공됩니다.

다른 이름: 추론 토큰, 사고 토큰, 생각 토큰, thinking tokens, reasoning tokens, chain-of-thought tokens, reasoning effort, extended thinking

추론 모델은 답하기 전에 생각합니다. 그 생각도 텍스트이므로 토큰과 시간, 그리고 컨텍스트 윈도우의 공간을 차지합니다.

작동 방식

추론 모델은 먼저 내부적인 사고 과정(chain of thought)을 생성한 다음, 눈에 보이는 답변을 씁니다. 두 부분 모두 같은 출력 예산에서 나갑니다. OpenAI 가이드는 추론 토큰이 “are billed as output tokens”(번역: 출력 토큰으로 과금된다)고 하며, 컨텍스트 윈도우의 공간도 차지한다고 설명합니다. Anthropic도 thinking 토큰에 대해 같은 설명을 하며, 이를 “a subset of your max_tokens.”(번역: max_tokens의 일부)라고 부릅니다.

Chat Completions 형식에서는 이 수치가 usage에 나타납니다.

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

이 예에서는 출력 토큰 1,186개 중 1,024개가 생각에 쓰였고, 답변에는 162개만 쓰였습니다. OpenAI는 응답이 “before any visible output tokens are produced,“(번역: 눈에 보이는 출력 토큰이 생성되기도 전에) 한도에 도달할 수 있다고 경고합니다. 이 경우 입력과 추론 비용은 내지만 답변은 받지 못합니다. OpenAI는 자사 모델로 처음 실험할 때 추론과 출력용으로 최소 25,000토큰을 확보해 두라고 권합니다.

많은 API가 reasoning_effort(low, medium, high) 같은 설정을 제공하므로, 품질을 조금 양보하고 사고 토큰을 줄일 수 있습니다.

왜 중요한가

  • 비용. 토큰당 과금 키에서는 추론이 출력 단가로 과금되며, 출력 단가는 보통 가장 높은 요금입니다. 입력 토큰과 출력 토큰을 참고하세요.
  • 지연 시간. 생각하는 시간만큼 첫 번째 가시 토큰이 늦게 나옵니다. 초당 토큰 수가 일정하다면, 추론 토큰 2,000개는 출력 토큰 2,000개를 생성하는 시간만큼 지연을 더합니다.
  • 안정성. 비추론 모델에서 잘 작동하던 작은 max_tokens 값이 추론 모델에서는 빈 응답을 반환할 수 있습니다.

BroadNet Inference에서는

DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론합니다. BroadNet 문서에 따르면 추론은 max_tokens에 포함됩니다. BroadNet 문서에는 BroadNet Gemma 4 VL 26B의 추론 기능이 나와 있지 않습니다.

모델이 보고하는 경우 usage.completion_tokens_details.reasoning_tokens에서 생각에 쓰인 분량을 확인할 수 있습니다. max_tokens는 1,000 이상으로 설정하거나 지정하지 말고, 간단한 단계에는 reasoning_effort="low"를 쓰세요.

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

종량제에서는 추론이 출력 단가로 과금됩니다. 예를 들어 DeepSeek V4.1 Flash의 출력 단가는 100만 토큰당 $0.52 요금입니다. 같은 모델의 무제한 플랜에는 토큰 미터가 없으므로 추론에 추가 비용이 들지 않고 시간만 걸립니다. 전체 해결 방법은 추론 모델이 빈 응답을 반환하는 이유에 정리되어 있습니다.

자주 묻는 질문

추론 토큰 내용을 직접 볼 수 있나요?

API마다 다릅니다. OpenAI는 추론 토큰이 API로 노출되지 않지만 요약은 받을 수 있다고 설명합니다. 다른 제공업체는 추론 내용의 일부 또는 전체를 별도 필드로 반환합니다. 어느 쪽이든 추론 토큰은 과금됩니다.

추론 토큰을 줄이려면 어떻게 해야 하나요?

모델이 지원한다면 간단한 작업에는 reasoning_effort를 low로 지정하는 식으로 추론 강도를 낮추세요. 명확하고 구체적인 프롬프트도 도움이 됩니다.

추론 모델이 빈 응답을 반환하는 이유는 무엇인가요?

모델이 출력 예산 전체를 추론에 써 버렸을 가능성이 큽니다. 이때 finish_reason은 length입니다. max_tokens를 늘리거나 추론 강도를 낮추세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기