BroadRouter
Начать

Токен (token)

Обновлено

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

Также называют: токены, токен LLM, токенизация, количество токенов, LLM token, tokens, tokenization

Модели не видят букв и слов. Они видят последовательность целых чисел, каждое из которых обозначает фрагмент текста из фиксированного словаря. Эти фрагменты и есть токены.

Как это работает

Токенизатор делит текст на части до того, как его прочитает модель. Большинство современных моделей используют подсловные методы, например byte pair encoding (BPE). Частые слова остаются целыми, редкие распадаются на части. Пример Hugging Face: annoyingly может стать annoying и ly.

Byte-level BPE начинается с 256 значений байта, поэтому закодировать можно любой ввод, включая эмодзи и любую письменность.

Для английского эмпирическое правило OpenAI — около 4 символов или 0,75 слова на токен, то есть 100 токенов — это примерно 75 слов. Наше собственное измерение английского текста на пяти современных токенизаторах дало около 129 токенов на 100 слов, или 1,290 токенов на 1000 слов, — близко к эмпирическому правилу. Любое такое соотношение — лишь оценка:

  • другие языки, в том числе арабский, на токенизаторах, обученных в основном на английском, часто дают больше токенов на слово;
  • код, числа и пробелы токенизируются иначе, чем обычный текст;
  • у каждого семейства моделей свой словарь.

Чтобы оценить заранее, вставьте текст в счётчик токенов. Точное число API сообщает в блоке usage каждого ответа:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Почему это важно

Токены стоят за почти каждым числом в LLM API:

Один и тот же текст может занимать разное число токенов у разных моделей, особенно на арабском. Датасет эффективности токенизаторов показывает число токенов на 100 слов для каждой модели на английском, арабском и в коде.

В BroadNet Inference

Чат-модели тарифицируются за 1 млн токенов. У DeepSeek V4.1 Flash новый вход стоит $0.175, вход из кэша — $0.0055, выход — $0.52. BroadNet Gemma 4 VL 26B стоит $0.10 за вход и $0.22 за выход. Цены всех моделей — на странице цен.

На тарифе с фиксированной ценой токены вообще не учитываются: у сессии DeepSeek V4.1 Flash нет счётчика токенов, а практическое ограничение — скорость, около 100 токенов в секунду. Модели распознавания речи тарифицируются за минуту аудио, а не за токены.

Частые ошибки

  • Оценивать стоимость по числу слов для неанглийского текста. Измеряйте через usage на реальных примерах.
  • Забывать, что модели с рассуждениями тратят выходные токены ещё и на размышления. См. токены рассуждений.

Вопросы и ответы

Сколько слов в 1000 токенов?

Для английского текста — около 775 слов, по собственному измерению BroadRouter на пяти токенизаторах (1000 английских слов дали около 1,290 токенов). Эмпирическое правило OpenAI — токен примерно равен трём четвертям слова — даёт 750. Другие языки, код и токенизаторы других моделей дают другие соотношения, поэтому, когда точность важна, считайте токенизатором самой модели.

Считаются ли изображения и аудио в токенах?

Изображения, отправленные vision-модели, пересчитываются во входные токены, и крупные изображения обычно занимают больше. API распознавания речи часто тарифицируются не за токены, а за минуту аудио.

Почему один и тот же текст занимает разное число токенов у двух моделей?

У каждого семейства моделей свой токенизатор и свой словарь, поэтому одно и то же предложение может разбиться на разное число частей.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity