BroadRouter

어휘 크기(vocabulary size)

업데이트

어휘 크기(vocabulary size)는 언어 모델 토크나이저에 들어 있는 서로 다른 토큰의 수로, 토큰마다 고유한 ID와 임베딩이 있습니다. 어휘가 크면 흔한 텍스트를 더 적은 토큰으로 인코딩할 수 있지만, 임베딩 층과 출력 층이 커지고, 어휘 학습에 쓰인 종류의 텍스트에서만 효과가 있습니다.

다른 이름: 어휘 크기, 어휘 사전 크기, 토크나이저 어휘, 토큰 어휘, 단어 사전 크기, vocabulary size, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

어휘 크기는 모델이 토큰 하나로 표현할 수 있는 텍스트 조각이 몇 종류인지를 알려 줍니다.

작동 방식

BPE 토크나이저의 어휘는 기본 기호에 학습한 모든 병합을 더한 것입니다. Hugging Face 문서는 초기 GPT를 예로 듭니다. 기본 토큰 478개 + 병합 40,000개 = 40,478개입니다. 목표 크기는 만드는 쪽이 학습 전에 정합니다.

2026-11-14에 Hugging Face에서 각 모델의 고정된 버전 tokenizer.json을 읽어 어휘를 확인했습니다.

토크나이저 어휘 항목 수 특수 토큰 포함 전체 ID 수
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B(Google 기본) 262,144 262,144
OpenAI o200k_base(참고) 199,998 200,019

Gemma 4 모델 카드에 적힌 262K 어휘와 일치합니다. Qwen3.8 카드는 임베딩 크기를 “padded”(번역: 패딩됨) 248,320으로 표기하는데, 실제로 쓰이는 ID 248,077개보다 큽니다.

왜 중요한가

API 사용자에게 어휘 크기는 단어당 비용을 간접적으로 알려 주는 힌트입니다. 중요한 것은 병합이 어떤 텍스트로 학습되었느냐입니다. 토크나이저 데이터셋에서 같은 현대 표준 아랍어 39,037단어의 100단어당 토큰 수를 비교해 보세요.

  • DeepSeek V4.1 Flash, 어휘 128,000개: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 어휘 154,820개: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 어휘 248,044개: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 어휘 262,144개: 79,120 / 39,037 x 100 = 202.7

GLM 5.3은 DeepSeek보다 어휘가 많지만 이 텍스트에서는 토큰을 더 씁니다. Gemma는 어휘가 가장 많지만 가장 압축적이지는 않습니다. 영어 산문에서는 다섯 개 모두 100단어당 127~132토큰 사이여서, 어휘 크기의 영향이 거의 없습니다.

원칙은 이렇습니다. 어휘 수치로 비용을 추정하지 말고, 모델의 토크나이저로 내 텍스트를 직접 측정하세요.

BroadNet Inference에서는

BroadNet은 어휘 크기를 공개하지 않습니다. 위 수치는 공개 모델 저장소에서 가져온 것입니다. Gemma 행은 Google 기본 토크나이저를 기준으로 했으며, BroadNet의 Gemma 4 VL 26B 빌드도 이를 그대로 쓴다고 가정했습니다. 내 프롬프트에서 어떤 차이가 나는지는 토큰 카운터로 확인하고, 아랍어용 모델을 고를 때는 아랍어용 LLM 고르기와 단어당 토큰 수 연구를 함께 읽어 보세요.

자주 묻는 질문

어휘가 크면 토큰 수가 줄어드나요?

대개 그렇지만 항상은 아닙니다. 2026-11-14 테스트에서 Gemma 4는 어휘가 가장 크지만(262,144) 아랍어 텍스트에 347토큰을 썼고, 어휘 248,044개인 Qwen3.8 27B는 같은 텍스트를 316토큰으로 인코딩했습니다.

vocab_size와 토크나이저 파일의 값이 왜 다른가요?

모델 설정은 임베딩 테이블을 딱 떨어지는 수로 패딩하고 특수 토큰용 ID를 예약해 두는 경우가 많습니다. Qwen3.8 27B는 패딩된 크기를 248,320으로 표기하지만, tokenizer.json은 0부터 248,076까지의 ID(ID는 0부터 시작)를 써서 모두 248,077개입니다.

모델의 어휘 크기는 어디서 확인하나요?

모델의 config.json에서 vocab_size 값을 보거나, tokenizer.json을 불러와 항목 수를 세면 됩니다. config 값은 패딩된 경우가 많으므로, 실제로 쓰이는 토큰 수는 토크나이저 파일이 정확합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기