Модели не видят букв и слов. Они видят последовательность целых чисел, каждое из которых обозначает фрагмент текста из фиксированного словаря. Эти фрагменты и есть токены.
Как это работает
Токенизатор делит текст на части до того, как его прочитает модель. Большинство современных моделей используют подсловные методы, например byte pair encoding (BPE). Частые слова остаются целыми, редкие распадаются на части. Пример Hugging Face: annoyingly может стать annoying и ly.
Byte-level BPE начинается с 256 значений байта, поэтому закодировать можно любой ввод, включая эмодзи и любую письменность.
Для английского эмпирическое правило OpenAI — около 4 символов или 0,75 слова на токен, то есть 100 токенов — это примерно 75 слов. Наше собственное измерение английского текста на пяти современных токенизаторах дало около 129 токенов на 100 слов, или 1,290 токенов на 1000 слов, — близко к эмпирическому правилу. Любое такое соотношение — лишь оценка:
- другие языки, в том числе арабский, на токенизаторах, обученных в основном на английском, часто дают больше токенов на слово;
- код, числа и пробелы токенизируются иначе, чем обычный текст;
- у каждого семейства моделей свой словарь.
Чтобы оценить заранее, вставьте текст в счётчик токенов. Точное число API сообщает в блоке usage каждого ответа:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Почему это важно
Токены стоят за почти каждым числом в LLM API:
- Цена. API с оплатой за токены тарифицируют каждый 1 млн входных и выходных токенов, часто по разным ценам.
- Лимиты. Контекстное окно и
max_tokensизмеряются в токенах, а многие лимиты частоты считают токены в минуту. - Скорость. Скорость генерации указывают в токенах в секунду.
Один и тот же текст может занимать разное число токенов у разных моделей, особенно на арабском. Датасет эффективности токенизаторов показывает число токенов на 100 слов для каждой модели на английском, арабском и в коде.
В BroadNet Inference
Чат-модели тарифицируются за 1 млн токенов. У DeepSeek V4.1 Flash новый вход стоит $0.175, вход из кэша — $0.0055, выход — $0.52. BroadNet Gemma 4 VL 26B стоит $0.10 за вход и $0.22 за выход. Цены всех моделей — на странице цен.
На тарифе с фиксированной ценой токены вообще не учитываются: у сессии DeepSeek V4.1 Flash нет счётчика токенов, а практическое ограничение — скорость, около 100 токенов в секунду. Модели распознавания речи тарифицируются за минуту аудио, а не за токены.
Частые ошибки
- Оценивать стоимость по числу слов для неанглийского текста. Измеряйте через
usageна реальных примерах. - Забывать, что модели с рассуждениями тратят выходные токены ещё и на размышления. См. токены рассуждений.