---
title: "토크나이저란? LLM이 텍스트를 토큰으로 나누는 방법 | BroadRouter"
description: "토크나이저는 텍스트를 LLM이 읽는 토큰 ID로 바꿉니다. 작동 방식과, 같은 텍스트도 모델마다 토큰 수가 다른 이유를 아랍어 측정 데이터와 함께 정리했습니다."
url: https://broadrouter.com/ko/glossary/tokenizer/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/tokenizer/) (2026-11-16 업데이트).

# 토크나이저(tokenizer)

업데이트 2026-11-16

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

다른 이름: 토크나이저, 토큰화기, 토큰나이저, LLM 토크나이저, 서브워드 토크나이저, 텍스트 토크나이저, tokenizer, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

텍스트가 몇 개의 [토큰](https://broadrouter.com/ko/glossary/token/)이 되는지, 그래서 컨텍스트 윈도우와 청구서를 얼마나 차지하는지는 토크나이저가 결정합니다.

## 작동 방식

토크나이저는 두 부분으로 이루어집니다. 텍스트 조각을 정수 ID에 대응시키는 고정된 어휘, 그리고 텍스트를 그 조각으로 나누는 규칙입니다. Hugging Face 문서는 흔히 쓰는 알고리즘을 서브워드 방식으로 설명합니다. 자주 쓰는 단어는 통째로 남고, 드문 단어는 더 작은 알려진 조각으로 나뉩니다. 그래서 “annoyingly”는 “annoying” + “ly”가 될 수 있습니다. 현재 대부분의 LLM은 [바이트 페어 인코딩(BPE)](https://broadrouter.com/ko/glossary/bpe/)이나 그 변형을 씁니다.

인코딩은 세 단계로 진행됩니다.

1.  **사전 토큰화.** 공백, 문장 부호, 숫자를 기준으로 나눕니다.
2.  **조각을 ID로 변환.** 학습된 병합 규칙을 적용하고 각 조각을 어휘에서 찾습니다.
3.  **특수 토큰 추가.** 채팅 템플릿이 메시지를 역할 표시로 감싸며, 이것도 토큰으로 계산됩니다.

디코딩은 2단계를 거꾸로 수행합니다. 오픈 웨이트 모델이라면 이 모든 것이 모델 저장소의 `tokenizer.json` 파일에 들어 있습니다.

## 왜 중요한가

토크나이저가 다르면 같은 텍스트도 토큰 수가 다릅니다. 저희는 데이터셋의 텍스트를 모델마다 버전을 고정한 토크나이저로 인코딩했습니다(영어: Wikipedia와 Project Gutenberg 산문, 아랍어: FLORES-200 문장 2,009개와 Wikipedia 도입부 세 개, 2026-11-15 측정, 100단어당 토큰 = 토큰 / 단어 x 100).

| 텍스트 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| 영어 산문, 1,183단어 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| 아랍어 MSA, 39,037단어 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

영어는 어디서나 비슷합니다. 아랍어는 그렇지 않습니다. 같은 텍스트에 GLM 5.3은 Qwen3.8 27B보다 95,230 / 71,424 = 1.33배의 토큰이 필요합니다. 토큰당 가격이라면 이 차이가 곧 비용 차이이며, [컨텍스트 윈도우](https://broadrouter.com/ko/glossary/context-window/)에 들어가는 아랍어 분량도 달라집니다. Gemma 열은 Google의 기본 Gemma 4 토크나이저를 썼습니다. BroadNet의 빌드는 이 모델을 기반으로 하며, 토크나이저도 그대로 유지한다고 가정했습니다. 모델별 전체 수치와 CSV, JSON 다운로드는 [토크나이저 효율 데이터셋](https://broadrouter.com/data/tokenizer-efficiency/)에 있습니다.

## BroadNet Inference에서는

BroadNet은 종량제 채팅을 [입력 토큰과 출력 토큰](https://broadrouter.com/ko/glossary/input-and-output-tokens/) 기준으로 청구하고, 응답마다 `usage` 객체에 토큰 수를 알려 주므로 기준이 되는 숫자는 API가 반환하는 값입니다. 보내기 전에 추정하려면 같은 고정 버전의 토크나이저 파일을 불러오는 [토큰 계산기](https://broadrouter.com/tools/token-counter/)나 [아랍어 토큰 계산기](https://broadrouter.com/tools/arabic-token-counter/)에 텍스트를 붙여 넣으세요. 전체 측정 결과는 [아랍어와 영어의 단어당 토큰 수](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)에 있습니다.

## 흔한 실수

-   한 모델의 토크나이저로 세고 다른 모델로 청구받는 것. 호출하는 모델의 토크나이저를 쓰세요.
-   채팅 템플릿을 잊는 것. 역할 표시와 시스템 프롬프트가 더하는 토큰은 일반 텍스트 기준 계산에서 빠집니다.

## 자주 묻는 질문

### 모든 LLM이 같은 토크나이저를 쓰나요?

아니요. 모델 계열마다 자체 어휘로 토크나이저를 학습합니다. 저희 토크나이저 데이터셋에서 같은 아랍어 39,037단어가 Qwen3.8 27B에서는 71,424토큰, GLM 5.3에서는 95,230토큰이었습니다.

### 모델의 토크나이저는 어디에서 찾나요?

오픈 웨이트 모델이라면 모델의 Hugging Face 저장소에 있는 tokenizer.json 파일입니다. Hugging Face tokenizers 라이브러리로 불러오면 토큰 수를 정확히 셀 수 있습니다.

### 토크나이저와 토큰화는 같은 건가요?

토큰화는 텍스트를 토큰으로 나누는 과정입니다. 토크나이저는 특정 모델 하나를 위해 그 과정을 수행하는 파일과 코드입니다.

## 함께 보기

-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [바이트 페어 인코딩(BPE)](https://broadrouter.com/ko/glossary/bpe/) (용어)
-   [어휘 크기(vocabulary size)](https://broadrouter.com/ko/glossary/vocabulary-size/) (용어)
-   [입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/) (용어)
-   [컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/) (용어)
-   [채팅 템플릿(chat template)](https://broadrouter.com/ko/glossary/chat-template/) (용어)
-   [유니코드 정규화(Unicode normalization)](https://broadrouter.com/ko/glossary/unicode-normalization/) (용어)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/) (글)
-   [LLM 요청 전에 토큰 수 계산하는 방법](https://broadrouter.com/ko/blog/count-tokens-before-sending/) (글)
-   [아랍어 프롬프트 엔지니어링: 문체, RTL, 숫자, 혼용 텍스트](https://broadrouter.com/ko/blog/arabic-prompt-engineering/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-tokenizer&utm_content=page-cta) ·

**출처**

-   [Hugging Face Transformers, 토큰화 알고리즘 (2026-11-16 확인)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face 모델 저장소, Qwen/Qwen3.8-27B (2026-11-16 확인)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face 모델 저장소, deepseek-ai/DeepSeek-V4.1-Flash (2026-11-16 확인)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face 모델 저장소, google/gemma-4-26B-A4B-it (2026-11-16 확인)](https://huggingface.co/google/gemma-4-26B-A4B-it)
