---
title: "Что такое BPE (byte pair encoding) в токенизаторах LLM?"
description: "BPE строит словарь токенизатора, объединяя самые частые пары символов. Как работают BPE и byte-level BPE и почему арабский текст делится на больше токенов."
url: https://broadrouter.com/ru/glossary/bpe/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/bpe/) (обновлён 2026-11-16).

# Кодирование пар байтов (byte pair encoding, BPE)

Обновлено 2026-11-16

Кодирование пар байтов (BPE) — это алгоритм подсловной токенизации, который начинает с отдельных символов или байтов и раз за разом объединяет самую частую соседнюю пару в новую запись словаря, пока не достигнет заданного размера словаря. Большинство современных токенизаторов LLM используют BPE или его байтовый вариант.

Также называют: BPE, BPE-токенизация, кодирование пар байтов, байтовое парное кодирование, byte-level BPE, byte pair encoding, byte-pair encoding, BPE tokenization

Кодирование пар байтов — рецепт, на котором построено большинство [токенизаторов](https://broadrouter.com/ru/glossary/tokenizer/) LLM: выяснить, какие куски текста часто встречаются вместе, и дать каждому частому куску собственный токен.

## Как это работает

Sennrich, Haddow и Birch (2015) применили BPE, изначально метод сжатия, к переводу. Их идея: имена, составные и редкие слова можно собирать из более мелких единиц, так что модели не нужна словарная запись для каждого слова.

Обучение словаря BPE — простой цикл, который пошагово показан в документации Hugging Face:

1.  Посчитать частоты слов в обучающем корпусе, например `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Начать с отдельных символов: `b g h n p s u`.
3.  Найти самую частую соседнюю пару. `u` + `g` встречается 20 раз, поэтому добавляем `ug`.
4.  Повторить. `u` + `n` (16 раз) становится `un`.
5.  Остановиться на целевом [размере словаря](https://broadrouter.com/ru/glossary/vocabulary-size/), который равен числу базовых символов плюс число слияний.

Чтобы закодировать новый текст, токенизатор применяет выученные слияния в том же порядке. Кодирование детерминировано: один и тот же текст всегда даёт одни и те же токены.

**Byte-level BPE** (байтовый BPE) начинает не с символов, а с 256 значений байта. Тогда закодировать можно любую строку. Словарь GPT-2 составлял 256 байтов + 50 000 слияний + 1 токен конца текста = 50 257.

## Почему это важно

BPE объясняет несколько вещей, которые видно в счёте за API:

-   **Частые английские слова — один токен**, потому что их пары были объединены рано.
-   **Редкие слова, опечатки и нелатинские письменности делятся на большее число токенов.** В UTF-8 арабская буква занимает 2 байта, поэтому байтовый токенизатор, выучивший мало арабских слияний, тратит больше токенов на слово.
-   **У разных моделей разные подсчёты.** Каждая модель выучивает собственные слияния на собственных данных.

Наш замер от 2026-11-14 показывает этот эффект. Один и тот же чат на диалекте Персидского залива из 117 слов занял 276 токенов в GLM 5.3 и 229 в Qwen3.8 27B. Это 276 / 117 x 100 = 235,9 против 229 / 117 x 100 = 195,7 токена на 100 слов. Английский перевод того же чата обошёлся в 202 и 208 токенов — почти одинаково.

## В BroadNet Inference

Токенизатор в BroadNet не выбирают: у каждой модели свой. Прежде чем выбирать модель для арабского трафика, сравните подсчёты на своём реальном тексте в [счётчике арабских токенов](https://broadrouter.com/tools/arabic-token-counter/), а полную таблицу смотрите в статье о [числе токенов на слово в арабском и английском](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/). Помните, что цену определяет число [токенов](https://broadrouter.com/ru/glossary/token/), а не слов.

## Вопросы и ответы

### Кто придумал BPE для языковых моделей?

BPE появился как алгоритм сжатия данных. В 2015 году Sennrich, Haddow и Birch приспособили его для разбиения редких слов на подсловные единицы в нейронном машинном переводе, и из этой работы выросли токенизаторы LLM.

### Что такое byte-level BPE?

Это токенизатор BPE, базовый словарь которого — 256 возможных значений байта, а не символы, поэтому любой текст на любой письменности кодируется без неизвестного токена. В GPT-2 он использовался со словарём из 50 257 записей.

### Почему BPE даёт для арабского больше токенов, чем для английского?

Слияния выучиваются на обучающих данных. Если токенизатор видел меньше арабского текста, арабских пар объединено меньше, и арабские слова распадаются на большее число кусков.

## См. также

-   [Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/) (термин)
-   [Размер словаря (vocabulary size)](https://broadrouter.com/ru/glossary/vocabulary-size/) (термин)
-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/) (статья)
-   [Как посчитать токены до отправки запроса к LLM](https://broadrouter.com/ru/blog/count-tokens-before-sending/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-bpe&utm_content=page-cta) ·

**Источники**

-   [Sennrich, Haddow и Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (проверено 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, алгоритмы токенизации (BPE и byte-level BPE) (проверено 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
