---
title: "Что такое токен в LLM? Простое объяснение | BroadRouter"
description: "Токен — единица текста, которую LLM читает и пишет, и единица оплаты и лимитов API. Как токенизатор делит текст, сколько это слов и почему токены определяют цену."
url: https://broadrouter.com/ru/glossary/token/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/token/) (обновлён 2026-11-14).

# Токен (token)

Обновлено 2026-11-14

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

Также называют: токены, токен LLM, токенизация, количество токенов, LLM token, tokens, tokenization

Модели не видят букв и слов. Они видят последовательность целых чисел, каждое из которых обозначает фрагмент текста из фиксированного словаря. Эти фрагменты и есть токены.

## Как это работает

[Токенизатор](https://broadrouter.com/ru/glossary/tokenizer/) делит текст на части до того, как его прочитает модель. Большинство современных моделей используют подсловные методы, например [byte pair encoding (BPE)](https://broadrouter.com/ru/glossary/bpe/). Частые слова остаются целыми, редкие распадаются на части. Пример Hugging Face: `annoyingly` может стать `annoying` и `ly`.

Byte-level BPE начинается с 256 значений байта, поэтому закодировать можно любой ввод, включая эмодзи и любую письменность.

Для английского эмпирическое правило OpenAI — около 4 символов или 0,75 слова на токен, то есть 100 токенов — это примерно 75 слов. Наше собственное измерение английского текста на пяти современных токенизаторах дало около 129 токенов на 100 слов, или 1,290 токенов на 1000 слов, — близко к эмпирическому правилу. Любое такое соотношение — лишь оценка:

-   другие языки, в том числе арабский, на токенизаторах, обученных в основном на английском, часто дают больше токенов на слово;
-   код, числа и пробелы токенизируются иначе, чем обычный текст;
-   у каждого семейства моделей свой словарь.

Чтобы оценить заранее, вставьте текст в [счётчик токенов](https://broadrouter.com/tools/token-counter/). Точное число API сообщает в блоке `usage` каждого ответа:

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## Почему это важно

Токены стоят за почти каждым числом в LLM API:

-   **Цена.** API с оплатой за токены тарифицируют каждый 1 млн [входных и выходных токенов](https://broadrouter.com/ru/glossary/input-and-output-tokens/), часто по разным ценам.
-   **Лимиты.** [Контекстное окно](https://broadrouter.com/ru/glossary/context-window/) и `max_tokens` измеряются в токенах, а многие лимиты частоты считают токены в минуту.
-   **Скорость.** Скорость генерации указывают в [токенах в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/).

Один и тот же текст может занимать разное число токенов у разных моделей, особенно на арабском. [Датасет эффективности токенизаторов](https://broadrouter.com/data/tokenizer-efficiency/) показывает число токенов на 100 слов для каждой модели на английском, арабском и в коде.

## В BroadNet Inference

Чат-модели тарифицируются за 1 млн токенов. У [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) новый вход стоит $0.175, [вход из кэша](https://broadrouter.com/ru/glossary/cached-input-tokens/) — $0.0055, выход — $0.52. [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) стоит $0.10 за вход и $0.22 за выход. Цены всех моделей — на [странице цен](https://broadrouter.com/ru/pricing/).

На тарифе с фиксированной ценой токены вообще не учитываются: у сессии DeepSeek V4.1 Flash нет счётчика токенов, а практическое ограничение — скорость, около 100 токенов в секунду. Модели распознавания речи тарифицируются за минуту аудио, а не за токены.

## Частые ошибки

-   Оценивать стоимость по числу слов для неанглийского текста. Измеряйте через `usage` на реальных примерах.
-   Забывать, что модели с рассуждениями тратят выходные токены ещё и на размышления. См. [токены рассуждений](https://broadrouter.com/ru/glossary/reasoning-tokens/).

## Вопросы и ответы

### Сколько слов в 1000 токенов?

Для английского текста — около 775 слов, по собственному измерению BroadRouter на пяти токенизаторах (1000 английских слов дали около 1,290 токенов). Эмпирическое правило OpenAI — токен примерно равен трём четвертям слова — даёт 750. Другие языки, код и токенизаторы других моделей дают другие соотношения, поэтому, когда точность важна, считайте токенизатором самой модели.

### Считаются ли изображения и аудио в токенах?

Изображения, отправленные vision-модели, пересчитываются во входные токены, и крупные изображения обычно занимают больше. API распознавания речи часто тарифицируются не за токены, а за минуту аудио.

### Почему один и тот же текст занимает разное число токенов у двух моделей?

У каждого семейства моделей свой токенизатор и свой словарь, поэтому одно и то же предложение может разбиться на разное число частей.

## См. также

-   [Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/) (термин)
-   [Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/) (термин)
-   [Кодирование пар байтов (byte pair encoding, BPE)](https://broadrouter.com/ru/glossary/bpe/) (термин)
-   [Размер словаря (vocabulary size)](https://broadrouter.com/ru/glossary/vocabulary-size/) (термин)
-   [Logprobs (логарифмы вероятностей токенов)](https://broadrouter.com/ru/glossary/logprobs/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [Кэшированные входные токены: как снизить счёт за LLM API](https://broadrouter.com/ru/blog/cached-input-tokens-explained/) (статья)
-   [Фиксированный тариф или оплата за токены в LLM API: когда выгоднее](https://broadrouter.com/ru/blog/flat-rate-vs-pay-per-token-llm-api/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-token&utm_content=page-cta) ·

**Источники**

-   [Hugging Face Transformers, алгоритмы токенизации (BPE, Unigram, WordPiece)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI, основные понятия (эмпирическое правило для токенов)](https://developers.openai.com/api/docs/concepts)
-   [Машиночитаемые цены BroadNet Inference (pricing.json) (на английском)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-token&utm_content=sources)
