BroadRouter
Начать

Кодирование пар байтов (byte pair encoding, BPE)

Обновлено

Кодирование пар байтов (BPE) — это алгоритм подсловной токенизации, который начинает с отдельных символов или байтов и раз за разом объединяет самую частую соседнюю пару в новую запись словаря, пока не достигнет заданного размера словаря. Большинство современных токенизаторов LLM используют BPE или его байтовый вариант.

Также называют: BPE, BPE-токенизация, кодирование пар байтов, байтовое парное кодирование, byte-level BPE, byte pair encoding, byte-pair encoding, BPE tokenization

Кодирование пар байтов — рецепт, на котором построено большинство токенизаторов LLM: выяснить, какие куски текста часто встречаются вместе, и дать каждому частому куску собственный токен.

Как это работает

Sennrich, Haddow и Birch (2015) применили BPE, изначально метод сжатия, к переводу. Их идея: имена, составные и редкие слова можно собирать из более мелких единиц, так что модели не нужна словарная запись для каждого слова.

Обучение словаря BPE — простой цикл, который пошагово показан в документации Hugging Face:

  1. Посчитать частоты слов в обучающем корпусе, например hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Начать с отдельных символов: b g h n p s u.
  3. Найти самую частую соседнюю пару. u + g встречается 20 раз, поэтому добавляем ug.
  4. Повторить. u + n (16 раз) становится un.
  5. Остановиться на целевом размере словаря, который равен числу базовых символов плюс число слияний.

Чтобы закодировать новый текст, токенизатор применяет выученные слияния в том же порядке. Кодирование детерминировано: один и тот же текст всегда даёт одни и те же токены.

Byte-level BPE (байтовый BPE) начинает не с символов, а с 256 значений байта. Тогда закодировать можно любую строку. Словарь GPT-2 составлял 256 байтов + 50 000 слияний + 1 токен конца текста = 50 257.

Почему это важно

BPE объясняет несколько вещей, которые видно в счёте за API:

  • Частые английские слова — один токен, потому что их пары были объединены рано.
  • Редкие слова, опечатки и нелатинские письменности делятся на большее число токенов. В UTF-8 арабская буква занимает 2 байта, поэтому байтовый токенизатор, выучивший мало арабских слияний, тратит больше токенов на слово.
  • У разных моделей разные подсчёты. Каждая модель выучивает собственные слияния на собственных данных.

Наш замер от 2026-11-14 показывает этот эффект. Один и тот же чат на диалекте Персидского залива из 117 слов занял 276 токенов в GLM 5.3 и 229 в Qwen3.8 27B. Это 276 / 117 x 100 = 235,9 против 229 / 117 x 100 = 195,7 токена на 100 слов. Английский перевод того же чата обошёлся в 202 и 208 токенов — почти одинаково.

В BroadNet Inference

Токенизатор в BroadNet не выбирают: у каждой модели свой. Прежде чем выбирать модель для арабского трафика, сравните подсчёты на своём реальном тексте в счётчике арабских токенов, а полную таблицу смотрите в статье о числе токенов на слово в арабском и английском. Помните, что цену определяет число токенов, а не слов.

Вопросы и ответы

Кто придумал BPE для языковых моделей?

BPE появился как алгоритм сжатия данных. В 2015 году Sennrich, Haddow и Birch приспособили его для разбиения редких слов на подсловные единицы в нейронном машинном переводе, и из этой работы выросли токенизаторы LLM.

Что такое byte-level BPE?

Это токенизатор BPE, базовый словарь которого — 256 возможных значений байта, а не символы, поэтому любой текст на любой письменности кодируется без неизвестного токена. В GPT-2 он использовался со словарём из 50 257 записей.

Почему BPE даёт для арабского больше токенов, чем для английского?

Слияния выучиваются на обучающих данных. Если токенизатор видел меньше арабского текста, арабских пар объединено меньше, и арабские слова распадаются на большее число кусков.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity