---
title: "BPE(바이트 페어 인코딩)란? LLM 토크나이저의 원리 | BroadRouter"
description: "바이트 페어 인코딩은 가장 자주 나오는 기호 쌍을 병합해 토크나이저 어휘를 만듭니다. BPE와 바이트 수준 BPE의 원리, 아랍어가 더 많은 토큰으로 쪼개지는 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/bpe/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/bpe/) (2026-11-16 업데이트).

# 바이트 페어 인코딩(BPE)

업데이트 2026-11-16

바이트 페어 인코딩(BPE)은 개별 문자나 바이트에서 시작해, 가장 자주 나란히 나오는 쌍을 새 어휘 항목으로 반복해서 병합하다가 목표 어휘 크기에 이르면 멈추는 서브워드 토큰화 알고리즘입니다. 현재 대부분의 LLM 토크나이저는 BPE나 그 바이트 수준 변형을 씁니다.

다른 이름: 바이트 페어 인코딩, 바이트 쌍 인코딩, 바이트 수준 BPE, BPE 토큰화, BPE 토크나이저, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

바이트 페어 인코딩은 대부분의 LLM [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/)를 만드는 레시피입니다. 텍스트에서 자주 함께 나오는 조각을 배우고, 자주 나오는 조각마다 토큰을 하나씩 줍니다.

## 작동 방식

Sennrich, Haddow, Birch(2015)는 원래 압축 기법이던 BPE를 번역에 적용했습니다. 이름, 합성어, 드문 단어도 더 작은 단위로 조합할 수 있으므로, 모델이 모든 단어를 사전에 갖고 있을 필요가 없다는 것이 요점이었습니다.

BPE 어휘 학습은 단순한 반복 과정이며, Hugging Face 문서에 단계별로 나와 있습니다.

1.  학습 코퍼스에서 단어 빈도를 셉니다. 예: `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  개별 문자에서 시작합니다: `b g h n p s u`.
3.  가장 자주 나란히 나오는 쌍을 찾습니다. `u` + `g`가 20번 나오므로 `ug`를 추가합니다.
4.  반복합니다. `u` + `n`(16번)이 `un`이 됩니다.
5.  목표 [어휘 크기](https://broadrouter.com/ko/glossary/vocabulary-size/)에 이르면 멈춥니다. 어휘 크기는 기본 기호 수에 병합 횟수를 더한 값입니다.

새 텍스트를 인코딩할 때 토크나이저는 학습한 병합 규칙을 같은 순서로 적용합니다. 인코딩은 결정적이어서, 같은 텍스트는 항상 같은 토큰이 됩니다.

**바이트 수준 BPE**는 문자 대신 256개의 바이트 값에서 시작합니다. 그러면 가능한 모든 문자열을 인코딩할 수 있습니다. GPT-2의 어휘는 256바이트 + 병합 50,000개 + 텍스트 끝(end-of-text) 토큰 1개 = 50,257개였습니다.

## 왜 중요한가

BPE를 알면 API 청구서에서 보이는 몇 가지 현상이 설명됩니다.

-   **흔한 영어 단어는 토큰 하나입니다.** 그 쌍들이 일찍 병합되었기 때문입니다.
-   **드문 단어, 오타, 라틴 문자가 아닌 문자 체계는 더 많은 토큰으로 쪼개집니다.** UTF-8에서 아랍 글자 하나는 2바이트이므로, 아랍어 병합을 적게 배운 바이트 수준 토크나이저는 단어당 토큰을 더 많이 씁니다.
-   **모델마다 토큰 수가 다릅니다.** 모델마다 자체 데이터로 자체 병합 규칙을 배웁니다.

2026-11-14에 측정한 결과가 이 효과를 보여 줍니다. 117단어짜리 같은 걸프 방언 채팅이 GLM 5.3에서는 276토큰, Qwen3.8 27B에서는 229토큰이었습니다. 100단어당으로 환산하면 276 / 117 x 100 = 235.9 대 229 / 117 x 100 = 195.7토큰입니다. 같은 채팅을 영어로 번역한 텍스트는 202토큰과 208토큰으로 거의 같았습니다.

## BroadNet Inference에서는

BroadNet에서는 토크나이저를 고를 수 없으며, 모델마다 자체 토크나이저를 씁니다. 아랍어 트래픽에 쓸 모델을 고르기 전에 [아랍어 토큰 카운터](https://broadrouter.com/tools/arabic-token-counter/)로 실제 텍스트의 토큰 수를 비교하고, 전체 표는 [아랍어와 영어의 단어당 토큰 수](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)에서 확인하세요. 가격을 정하는 것은 단어 수가 아니라 [토큰](https://broadrouter.com/ko/glossary/token/) 수라는 점을 기억하세요.

## 자주 묻는 질문

### 언어 모델용 BPE는 누가 만들었나요?

BPE는 원래 데이터 압축 알고리즘이었습니다. Sennrich, Haddow, Birch가 2015년에 신경망 기계 번역에서 드문 단어를 서브워드 단위로 나누는 데 이를 응용했고, LLM 토크나이저는 그 연구에서 발전했습니다.

### 바이트 수준 BPE란 무엇인가요?

기본 어휘가 문자 대신 가능한 256개의 바이트 값인 BPE 토크나이저입니다. 그래서 어떤 문자 체계의 어떤 텍스트든 unknown 토큰 없이 인코딩할 수 있습니다. GPT-2는 항목 50,257개로 이 방식을 썼습니다.

### BPE는 왜 영어보다 아랍어에서 토큰을 더 많이 만드나요?

병합 규칙은 학습 데이터에서 배웁니다. 토크나이저가 아랍어를 적게 봤다면 병합된 아랍어 쌍도 적어서, 아랍어 단어가 더 많은 조각으로 쪼개집니다.

## 함께 보기

-   [토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/) (용어)
-   [어휘 크기(vocabulary size)](https://broadrouter.com/ko/glossary/vocabulary-size/) (용어)
-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/) (용어)
-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/) (글)
-   [LLM 요청 전에 토큰 수 계산하는 방법](https://broadrouter.com/ko/blog/count-tokens-before-sending/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-bpe&utm_content=page-cta) ·

**출처**

-   [Sennrich, Haddow, Birch, Neural Machine Translation of Rare Words with Subword Units(arXiv 1508.07909) (2026-11-16 확인)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, 토큰화 알고리즘(BPE와 바이트 수준 BPE) (2026-11-16 확인)](https://huggingface.co/docs/transformers/tokenizer_summary)
