max_tokens: 100으로 짧은 프롬프트를 보냈더니 요청은 성공했는데 choices[0].message.content가 비어 있습니다. 고장 난 것은 없습니다. 답변이 시작되지 않았을 뿐입니다.
무슨 일이 일어나나
추론 모델은 보이는 답변 앞에 숨겨진 사고 과정(chain of thought)을 씁니다. 둘은 하나의 max_tokens 예산을 함께 씁니다. 한도가 작으면 추론이 예산을 모두 써 버리고, 표준 chat completions 형식에서는 이때 finish_reason이 length가 됩니다.
세 가지 해결 방법
1. 여유를 둡니다. BroadNet 문서의 권장대로 max_tokens를 1,000 이상으로 설정하세요. 추론 모델용 max_tokens 계산기로 원하는 답변 길이에 맞는 한도와 비용을 확인할 수 있습니다.
2. 추론을 줄입니다. 간단한 작업에는 reasoning_effort를 low로 설정하세요.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. usage를 확인합니다. 모델이 보고하는 경우 usage.completion_tokens_details.reasoning_tokens에서 추론에 쓰인 양을 볼 수 있습니다.
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
스트리밍에서는 stream_options={"include_usage": True}를 추가하면 같은 usage가 마지막 청크에 담겨 옵니다. 스트리밍 chat completions를 참고하세요.
어떤 모델이 추론하나
| 모델 | 먼저 추론 |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
예 |
GLM 5.3 (broadnet/glm-5.3) |
예 |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
예 |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
표기 없음 |
문제 해결
content가 비어 있고finish_reason이length.max_tokens를 늘리거나reasoning_effort를low로 설정하세요.content가 비어 있고finish_reason이stop. 한도가 원인이 아닙니다. 프롬프트를 점검하고, 응답 전체를 출력해 무엇이 돌아왔는지 확인하세요.completion_tokens_details에서AttributeError. 모델이 해당 요청의 세부 내역을 보고하지 않은 경우입니다. 위 예제처럼None에 대비하세요.- 스트리밍에서 첫 토큰이 느림. 모델이 답변을 쓰기 전에 추론하고 있는 것입니다.
reasoning_effort를 낮추면 대기 시간이 줄어들 수 있습니다.
에이전트를 하루 종일 돌린다면 종량제에서는 추론 토큰이 쌓입니다. BroadNet 가격 계산기에서 정액 무제한 플랜이 더 저렴해지는 시점을 확인할 수 있습니다.
