요청을 보내기 전에 토큰 수가 필요한 이유는 세 가지입니다. 컨텍스트 윈도우 안에 머물기 위해, 적절한 max_tokens 값을 정하기 위해, 그리고 비용을 추정하기 위해서입니다. 정확한 수는 모델 자체의 토크나이저로만 얻을 수 있습니다. 좋은 추정치는 보정으로 얻습니다. 이 글에서는 실제 측정값과 함께 두 방법을 모두 보여 드립니다.
모델마다 토큰 수가 다른 이유는 무엇인가요?
토크나이저는 고정된 어휘에서 가져온 조각으로 텍스트를 나눕니다. 모델 계열마다 자체 토크나이저를 학습시킵니다. 어휘가 크거나 특정 언어를 더 많이 학습한 토크나이저는 그 언어에서 더 적은 토큰을 만듭니다. 그래서 “이 프롬프트는 몇 토큰인가”에 대한 답은 모델마다 다릅니다.
저희는 짧은 고객 상담 메시지 하나를 4개 언어로 옮긴 것과 작은 Python 함수, 인보이스 JSON 객체 하나를 측정했습니다. OpenAI 수치는 tiktoken(cl100k_base는 GPT-4 시기, o200k_base는 GPT-4o 시기)으로 얻었습니다. 오픈 모델 수치는 각 계열이 Hugging Face에 공개한 토크나이저 파일로, 채팅 템플릿 없이 2026년 11월 14일에 측정했습니다.
| 텍스트(같은 의미) | 문자 수 | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| 영어, 31단어 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| 스페인어 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| 아랍어 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 중국어 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 함수 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 인보이스 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
행마다 샘플이 하나뿐이므로, 이 수치는 벤치마크가 아니라 예시로 보세요. 그래도 세 가지 교훈은 유효합니다. 토크나이저 세대가 중요합니다. 아랍어 텍스트는 cl100k_base에서 o200k_base로 바뀌면서 절반 이하로 줄었습니다. 오픈 모델끼리도 다릅니다. 같은 아랍어 텍스트가 4858토큰, JSON은 6072토큰으로 차이가 났습니다. 그리고 구조화된 콘텐츠는 어디서나 토큰 밀도가 높습니다. JSON은 모든 토크나이저에서 토큰당 약 2자였습니다.
무료 토큰 계산기나 계열별 계산기인 DeepSeek, Qwen, GPT로 직접 가진 텍스트에서 같은 측정을 해 볼 수 있습니다. 프롬프트를 고쳤을 때 얼마나 줄어드는지 보려면 프롬프트 토큰 비교 도구에서 두 버전을 비교하세요. 특히 아랍어가 토큰을 더 많이 쓰는 이유는 더 긴 텍스트로 측정한 아랍어와 영어의 단어당 토큰 수에서 다룹니다.
토큰 수를 정확히 세려면 어떻게 하나요?
모델의 토크나이저가 공개되어 있다면 불러와서 로컬에서 세면 됩니다. OpenAI 모델의 경우는 다음과 같습니다.
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
오픈 웨이트 계열은 보통 Hugging Face에 모델과 함께 토크나이저가 들어 있으며, AutoTokenizer.from_pretrained(...)로 불러올 수 있습니다. 주의할 점이 두 가지 있습니다. 채팅 템플릿이 역할과 구분자용 토큰을 더하고, API 제공업체가 배포한 버전은 공개 파일과 다를 수 있습니다. BroadNet API 레퍼런스에는 토큰 계산 엔드포인트나 모델별 토크나이저가 문서화되어 있지 않습니다. 따라서 공개 토크나이저로는 근접한 추정치를 얻고, 정확한 수는 호출 후의 usage.prompt_tokens로 확인합니다.
토크나이저가 공개되어 있지 않으면 어떻게 추정하나요?
모델마다 한 번 보정한 다음, 로컬에서 추정하세요.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
콘텐츠 유형마다 실제 샘플(lorem ipsum이 아니라 실제로 쓰는 프롬프트)을 20개 이상 사용하세요. 한 단어짜리 기준 요청은 고정된 채팅 템플릿 오버헤드를 빼 주며, estimate는 이를 overhead로 다시 더합니다. 이 값은 직접 측정한 기준값으로 설정하세요. BroadNet에서 가장 저렴한 모델로 보정하는 것은 그 모델을 실제로 호출할 때만 의미가 있습니다. Gemma 4 VL 26B의 비율은 DeepSeek V4.1 Flash에 그대로 적용되지 않습니다. 이미지도 입력 토큰으로 과금되고 큰 이미지일수록 더 많이 쓰므로, 해상도별로 따로 보정하세요.
max_tokens와 컨텍스트에는 여유분을 얼마나 두어야 하나요?
윈도우에는 프롬프트와 출력이 모두 들어갑니다. 추론 모델에서는 출력에 숨겨진 사고 과정이 포함되며, 이는 추론 토큰으로 보고됩니다. 예산은 다음과 같이 잡으세요.
- 프롬프트 추정치 = 보정된 토큰 수 × 1.15(15% 안전 여유분).
- 답변 예산 = 허용할 가장 긴 답변.
- 추론 예산 = 사고 모델이라면 최소 1,000토큰. BroadNet 문서는 한도가 작으면 빈 답변이 반환될 수 있으므로 최소 1,000 또는
reasoning_effort: "low"를 권장합니다. - max_tokens = 답변 예산 + 추론 예산.
- 확인: 프롬프트 추정치 + max_tokens ≤ 컨텍스트 윈도우. 넘친다면 답변이 아니라 프롬프트를 줄이세요.
공개된 가격 파일 기준 BroadNet Inference의 컨텍스트 윈도우는 다음과 같습니다.
| 모델 | 컨텍스트 윈도우 | 출력 16K, 여유분 15% 기준 실질 프롬프트 상한 |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | 약 897,000 |
| GLM 5.3 | 1,048,576 | 약 897,000 |
| Qwen3.8 27B | 262,144 | 약 213,000 |
| Gemma 4 VL 26B | 32,768 | 약 14,000 |
상한 열은 (윈도우 − 16,384) ÷ 1.15를 내림한 값입니다. 16,384를 실제로 쓰는 max_tokens로 바꿔 계산하세요.
토큰 추정에서 자주 하는 실수는 무엇인가요?
- 토큰 대신 단어 수를 세기. “토큰당 0.75단어” 규칙은 영어용입니다. 저희의 29단어 아랍어 샘플은 토크나이저에 따라 46~102토큰이었습니다.
- 도구와 시스템 프롬프트 빠뜨리기. 도구 스키마는 토큰 밀도가 높은 JSON입니다. 프롬프트의 일부로 세세요.
- 알아서 잘라 줄 것이라고 가정하기. 어떤 도구는 오래된 메시지를 알리지 않고 버립니다. BroadNet은 컨텍스트를 잘라내지 않는다고 밝히고 있으므로, 서버가 잘라 주기를 기대하지 말고 보내기 전에 크기를 확인하세요. 컨텍스트 윈도우 계산기가 이 확인을 대신해 줍니다.
- 대화 기록이 늘어나는 것을 무시하기. 채팅이나 에이전트 루프에서는 프롬프트가 턴마다 길어집니다. 세션당 한 번이 아니라 호출할 때마다 예산을 다시 확인하세요. 안정적인 기록은 캐시도 더 잘 됩니다. 캐싱을 위한 프롬프트 구조를 참고하세요.
아랍어로 작업한다면, 토크나이저는 직접 가진 텍스트로 모델을 테스트해야 하는 또 하나의 이유입니다. 나머지는 아랍어용 LLM 고르기에서 다룹니다. 토큰 수를 월 청구액으로 환산하려면 출시 전에 LLM API 비용을 추정하는 방법을 참고하세요.
BroadNet Inference는 어디에 적합한가요?
BroadNet Inference는 모든 응답에 prompt_tokens, completion_tokens, 그리고 모델이 보고하는 경우 캐시된 토큰과 추론 토큰 수를 돌려주며, 보정에 필요한 것은 이것이 전부입니다. 토큰 계산 엔드포인트나 모델별 토크나이저는 공개하지 않으므로, 보내기 전에 센 값은 추정치입니다. 100만 토큰 모델에서의 긴 컨텍스트 작업은 컨텍스트 윈도우 가이드에서, 100만 토큰당 가격은 가격 페이지에서 확인하세요.
