바이트 페어 인코딩은 대부분의 LLM 토크나이저를 만드는 레시피입니다. 텍스트에서 자주 함께 나오는 조각을 배우고, 자주 나오는 조각마다 토큰을 하나씩 줍니다.
작동 방식
Sennrich, Haddow, Birch(2015)는 원래 압축 기법이던 BPE를 번역에 적용했습니다. 이름, 합성어, 드문 단어도 더 작은 단위로 조합할 수 있으므로, 모델이 모든 단어를 사전에 갖고 있을 필요가 없다는 것이 요점이었습니다.
BPE 어휘 학습은 단순한 반복 과정이며, Hugging Face 문서에 단계별로 나와 있습니다.
- 학습 코퍼스에서 단어 빈도를 셉니다. 예:
hug10,pug5,pun12,bun4,hugs5. - 개별 문자에서 시작합니다:
b g h n p s u. - 가장 자주 나란히 나오는 쌍을 찾습니다.
u+g가 20번 나오므로ug를 추가합니다. - 반복합니다.
u+n(16번)이un이 됩니다. - 목표 어휘 크기에 이르면 멈춥니다. 어휘 크기는 기본 기호 수에 병합 횟수를 더한 값입니다.
새 텍스트를 인코딩할 때 토크나이저는 학습한 병합 규칙을 같은 순서로 적용합니다. 인코딩은 결정적이어서, 같은 텍스트는 항상 같은 토큰이 됩니다.
바이트 수준 BPE는 문자 대신 256개의 바이트 값에서 시작합니다. 그러면 가능한 모든 문자열을 인코딩할 수 있습니다. GPT-2의 어휘는 256바이트 + 병합 50,000개 + 텍스트 끝(end-of-text) 토큰 1개 = 50,257개였습니다.
왜 중요한가
BPE를 알면 API 청구서에서 보이는 몇 가지 현상이 설명됩니다.
- 흔한 영어 단어는 토큰 하나입니다. 그 쌍들이 일찍 병합되었기 때문입니다.
- 드문 단어, 오타, 라틴 문자가 아닌 문자 체계는 더 많은 토큰으로 쪼개집니다. UTF-8에서 아랍 글자 하나는 2바이트이므로, 아랍어 병합을 적게 배운 바이트 수준 토크나이저는 단어당 토큰을 더 많이 씁니다.
- 모델마다 토큰 수가 다릅니다. 모델마다 자체 데이터로 자체 병합 규칙을 배웁니다.
2026-11-14에 측정한 결과가 이 효과를 보여 줍니다. 117단어짜리 같은 걸프 방언 채팅이 GLM 5.3에서는 276토큰, Qwen3.8 27B에서는 229토큰이었습니다. 100단어당으로 환산하면 276 / 117 x 100 = 235.9 대 229 / 117 x 100 = 195.7토큰입니다. 같은 채팅을 영어로 번역한 텍스트는 202토큰과 208토큰으로 거의 같았습니다.
BroadNet Inference에서는
BroadNet에서는 토크나이저를 고를 수 없으며, 모델마다 자체 토크나이저를 씁니다. 아랍어 트래픽에 쓸 모델을 고르기 전에 아랍어 토큰 카운터로 실제 텍스트의 토큰 수를 비교하고, 전체 표는 아랍어와 영어의 단어당 토큰 수에서 확인하세요. 가격을 정하는 것은 단어 수가 아니라 토큰 수라는 점을 기억하세요.