Кодирование пар байтов — рецепт, на котором построено большинство токенизаторов LLM: выяснить, какие куски текста часто встречаются вместе, и дать каждому частому куску собственный токен.
Как это работает
Sennrich, Haddow и Birch (2015) применили BPE, изначально метод сжатия, к переводу. Их идея: имена, составные и редкие слова можно собирать из более мелких единиц, так что модели не нужна словарная запись для каждого слова.
Обучение словаря BPE — простой цикл, который пошагово показан в документации Hugging Face:
- Посчитать частоты слов в обучающем корпусе, например
hug10,pug5,pun12,bun4,hugs5. - Начать с отдельных символов:
b g h n p s u. - Найти самую частую соседнюю пару.
u+gвстречается 20 раз, поэтому добавляемug. - Повторить.
u+n(16 раз) становитсяun. - Остановиться на целевом размере словаря, который равен числу базовых символов плюс число слияний.
Чтобы закодировать новый текст, токенизатор применяет выученные слияния в том же порядке. Кодирование детерминировано: один и тот же текст всегда даёт одни и те же токены.
Byte-level BPE (байтовый BPE) начинает не с символов, а с 256 значений байта. Тогда закодировать можно любую строку. Словарь GPT-2 составлял 256 байтов + 50 000 слияний + 1 токен конца текста = 50 257.
Почему это важно
BPE объясняет несколько вещей, которые видно в счёте за API:
- Частые английские слова — один токен, потому что их пары были объединены рано.
- Редкие слова, опечатки и нелатинские письменности делятся на большее число токенов. В UTF-8 арабская буква занимает 2 байта, поэтому байтовый токенизатор, выучивший мало арабских слияний, тратит больше токенов на слово.
- У разных моделей разные подсчёты. Каждая модель выучивает собственные слияния на собственных данных.
Наш замер от 2026-11-14 показывает этот эффект. Один и тот же чат на диалекте Персидского залива из 117 слов занял 276 токенов в GLM 5.3 и 229 в Qwen3.8 27B. Это 276 / 117 x 100 = 235,9 против 229 / 117 x 100 = 195,7 токена на 100 слов. Английский перевод того же чата обошёлся в 202 и 208 токенов — почти одинаково.
В BroadNet Inference
Токенизатор в BroadNet не выбирают: у каждой модели свой. Прежде чем выбирать модель для арабского трафика, сравните подсчёты на своём реальном тексте в счётчике арабских токенов, а полную таблицу смотрите в статье о числе токенов на слово в арабском и английском. Помните, что цену определяет число токенов, а не слов.