BroadRouter
시작하기

토큰(token)

업데이트

토큰은 언어 모델이 읽고 쓰는 텍스트 단위로, 모델의 토크나이저가 만들어 내는 단어, 단어의 일부, 문장 부호 또는 바이트 시퀀스입니다. LLM API는 사용량을 토큰 단위로 집계하고 제한하며, 대개 토큰 단위로 과금합니다.

다른 이름: LLM 토큰, 토큰 뜻, 토큰화, 토크나이징, token, LLM token, tokens, tokenization

모델은 글자나 단어를 보지 않습니다. 고정된 어휘에서 텍스트 조각 하나씩을 가리키는 정수의 나열을 봅니다. 이 조각이 바로 토큰입니다.

작동 방식

모델이 텍스트를 읽기 전에 토크나이저가 텍스트를 나눕니다. 최신 모델 대부분은 바이트 페어 인코딩(BPE) 같은 서브워드 방식을 씁니다. 흔한 단어는 통째로 남고, 드문 단어는 여러 조각으로 나뉩니다. Hugging Face의 예시에서는 annoyingly가 annoying과 ly로 나뉠 수 있습니다.

바이트 수준 BPE는 256개의 바이트 값에서 출발하므로 이모지와 모든 문자 체계를 포함해 어떤 입력이든 인코딩할 수 있습니다.

영어의 경우 OpenAI의 어림 계산법은 토큰 하나가 약 4글자, 또는 0.75단어라는 것입니다. 즉 100 토큰은 대략 75단어입니다. 저희가 최신 토크나이저 5종으로 영어 산문을 직접 측정한 결과는 100단어당 약 129 토큰, 1,000단어당 1,290 토큰으로 어림 계산법과 비슷했습니다. 다만 어느 비율이든 추정치일 뿐입니다.

  • 아랍어를 포함한 다른 언어는 주로 영어로 학습된 토크나이저에서 단어당 토큰이 더 많이 나오는 경우가 많습니다.
  • 코드, 숫자, 공백은 일반 문장과 다르게 토큰화됩니다.
  • 모델 계열마다 고유한 어휘를 씁니다.

보내기 전에 추정하려면 토큰 계산기에 텍스트를 붙여 넣으세요. 실제 토큰 수는 API가 각 응답의 usage 블록에 알려 줍니다.

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

왜 중요한가

LLM API의 거의 모든 수치는 토큰을 단위로 합니다.

  • 가격. 토큰당 과금 API는 입력 토큰과 출력 토큰 100만 개 단위로 과금하며, 입력과 출력 단가가 다른 경우가 많습니다.
  • 한도. 컨텍스트 윈도우와 max_tokens는 토큰으로 측정하며, 많은 속도 제한도 분당 토큰 수를 셉니다.
  • 속도. 생성 속도는 초당 토큰 수로 표시합니다.

같은 텍스트라도 모델에 따라 토큰 수가 다를 수 있으며, 특히 아랍어에서 차이가 큽니다. 토크나이저 효율 데이터셋은 모델별로 영어, 아랍어, 코드의 100단어당 토큰 수를 측정합니다.

BroadNet Inference에서는

채팅 모델은 100만 토큰 단위로 가격이 매겨집니다. DeepSeek V4.1 Flash 모델의 가격은 다음과 같습니다: 새 입력 $0.175, 캐시된 입력 $0.0055, 출력 $0.52. BroadNet Gemma 4 VL 26B 모델의 가격은 다음과 같습니다: 입력 $0.10, 출력 $0.22. 모든 모델의 단가는 가격 페이지에 있습니다.

정액 플랜에서는 토큰을 아예 계량하지 않습니다. DeepSeek V4.1 Flash 세션에는 토큰 미터가 없으며, 실질적인 한계는 속도, 즉 초당 약 100토큰 수준입니다. 음성 인식 모델은 토큰이 아니라 오디오 1분 단위로 과금됩니다.

흔한 실수

  • 영어가 아닌 텍스트의 비용을 단어 수로 추정하는 것. 실제 샘플을 보내 usage 값으로 측정하세요.
  • 추론 모델이 생각하는 데에도 출력 토큰을 쓴다는 점을 잊는 것. 추론 토큰을 참고하세요.

자주 묻는 질문

1,000 토큰은 몇 단어인가요?

영어 산문 기준으로, BroadRouter가 토크나이저 5종으로 직접 측정한 결과 약 775 단어였습니다(영어 1,000단어는 약 1,290 토큰). 토큰 하나가 단어의 약 4분의 3이라는 OpenAI의 어림 계산법으로는 750단어입니다. 다른 언어, 코드, 다른 모델의 토크나이저는 비율이 다르므로, 정확한 값이 중요하다면 해당 모델의 토크나이저로 직접 세어 보세요.

이미지와 오디오도 토큰으로 계산되나요?

비전 모델에 보내는 이미지는 입력 토큰으로 변환되며, 대체로 이미지가 클수록 토큰을 더 많이 사용합니다. 음성 인식(STT) API는 토큰 대신 오디오 1분 단위로 가격을 매기는 경우가 많습니다.

같은 텍스트인데 모델마다 토큰 수가 다른 이유는 무엇인가요?

모델 계열마다 토크나이저와 어휘가 다르기 때문입니다. 그래서 같은 문장도 나뉘는 조각 수가 달라질 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기