BroadRouter

Когда контекстное окно на 1 млн токенов оправдано (а когда нет)

Команда BroadNet Inference · 4 мин чтения · Опубликовано

Контекстное окно на 1 млн токенов позволяет уместить в один запрос целую кодовую базу, пакет договоров или часы расшифровок, и модель видит всё сразу, а не найденные фрагменты. Это окупается при рассуждениях по многим файлам и разовом анализе; для повторяющихся точечных запросов к большому, меняющемуся корпусу поиск дешевле. DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов.

Light shining through towering cliffs made of stacked paper pages.

Контекстные окна выросли с нескольких тысяч токенов до более чем миллиона. DeepSeek V4.1 Flash и GLM 5.3 в BroadNet Inference принимают 1 048 576 токенов на запрос — промпт и ответ вместе. Это меняет то, как можно строить системы, но не делает лучше любой промпт.

Что помещается в миллион токенов?

Для грубой оценки: 1000 слов английского текста в нашем датасете эффективности токенизаторов дали в среднем по пяти токенизаторам около 1,290 токенов, так что миллион токенов — это примерно 810,000 слов обычного текста:

Содержимое Примерно
Кодовая база среднего размера (десятки тысяч строк) Помещается с запасом
Несколько длинных договоров с приложениями Помещается
Расшифровки встреч за день Помещается
Большой монорепозиторий с зависимостями Часто нет; выбирайте каталоги

Число токенов зависит от языка и содержимого. Код и арабский текст часто расходуют больше токенов на символ, чем английский текст. Измеряйте по блоку usage реального запроса, а не на глаз, или проверьте образец в калькуляторе контекстного окна.

У каких моделей BroadNet контекстное окно на 1 млн токенов?

Модель Контекстное окно Вход Выход Изображения
DeepSeek V4.1 Flash 1 048 576 $0.175 $0.52 Да
GLM 5.3 1 048 576 $0.78 $3.46 Нет
Qwen3.8 27B 262 144 $0.175 $2.17 Да
BroadNet Gemma 4 VL 26B 32 768 $0.10 $0.22 Да

Цены указаны за 1 млн токенов. GLM 5.3 при том же окне в 1 млн добавляет вызов инструментов и структурированный вывод.

Когда окно на 1 млн токенов оправдано?

  • Рассуждения по многим файлам. Ответ на вопрос «Почему падает этот тест?» часто зависит от пяти файлов, которые никому не пришло бы в голову искать вместе.
  • Проверка документа целиком. Чтобы найти противоречие между пунктом 4 и приложением B, нужно видеть оба.
  • Разовый анализ. Для вопроса, который вы зададите один раз, построение поискового индекса потребует больше усилий, чем сэкономит.
  • Агенты. Субагент, который может прочитать весь модуль, реже ошибается в догадках. См. параллельный запуск агентов.

Когда поиск всё ещё лучше?

Поиск выигрывает при множестве мелких запросов к библиотеке, намного большей любого окна, для контента, который меняется каждую минуту, и для быстрых интерактивных ответов, где чтение огромного промпта добавляет задержку. Многие продакшен-системы делают и то и другое: находят 200 000 самых релевантных токенов, а затем дают модели с длинным контекстом рассуждать над всеми ними. Полный разбор с ценой запроса, задержкой и полнотой бок о бок — в статье длинный контекст или RAG.

Действительно ли модель использует всё окно?

Неравномерно. Исследования здесь сходятся:

  • Статья Lost in the Middle (Liu и др.) показала, что качество “is often highest when relevant information occurs at the beginning or end of the input context” (перевод: «часто максимально, когда нужная информация находится в начале или в конце входного контекста»).
  • Отчёт Chroma Context Rot протестировал 18 моделей и обнаружил, что “performance grows increasingly unreliable as input length grows” (перевод: «качество становится всё менее надёжным по мере роста длины входа») — даже на простых задачах.

В этих исследованиях не тестировались модели на BroadNet, поэтому считайте их предупреждением, а не измерением. Практическое правило: если окно принимает миллион токенов, это не значит, что каждый токен получает равное внимание. Размещайте самое важное ближе к началу или концу и проверяйте полноту на своих документах.

Сколько стоит промпт на миллион токенов?

На ключе с оплатой по факту DeepSeek V4.1 Flash стоит $0.175 за 1 млн входных токенов и $0.0055 за 1 млн входных токенов из кэша. Полный промпт на миллион токенов обходится примерно в $0.175 в первый раз и гораздо дешевле при повторных вызовах, когда префикс в кэше. Как повысить долю попаданий в кэш.

Калькулятор кэширования промптов показывает, сколько экономит попадание в кэш при ваших размерах промпта. Пример с расчётом: десять вопросов по одному и тому же пакету договоров на 800 000 токенов. Без кэширования это 8 млн токенов по $0.175 за 1 млн. Если документы идут первыми и не меняются, первый вызов читает 800 000 новых токенов, а следующие девять могут читать большую их часть из кэша по $0.0055 за 1 млн. Меняются только вопрос и ответ.

На безлимитном тарифе размер промпта на счёт не влияет: Full Moon стоит $60 в месяц за сессию без счётчика токенов. Поэтому агенты с длинным контекстом — частая причина выбрать фиксированный тариф вместо оплаты за токены.

Сколько места оставлять для ответа?

Окно вмещает промпт и вывод, а у моделей с рассуждениями вывод включает размышления. Если отправить промпт на 1 040 000 токенов, на рассуждения и ответ останется всего около 8000. Держите запас, задавайте max_tokens явно и прочитайте, почему модели с рассуждениями могут вернуть пустой ответ.

Как подготовить кодовую базу к промпту на 1 млн токенов

  1. Исключите то, что модели не нужно. Lock-файлы, результаты сборки, вендорные зависимости, изображения и сгенерированный код занимают токены и добавляют шум.
  2. Считайте до отправки. Отправьте небольшой образец, прочитайте prompt_tokens из usage и масштабируйте.
  3. Упорядочивайте по стабильности. Редко меняющиеся файлы — первыми, редактируемые — последними, вопрос — в самом конце. Так префикс остаётся кэшируемым.
  4. Помечайте каждый файл. Оборачивайте файлы в понятные маркеры вроде === path/to/file.py ===, чтобы модель могла на них ссылаться.
  5. Просите цитаты. Просьба «процитируй строку, на которую опираешься» сокращает уверенные ошибки на огромных входах.
  6. Измеряйте. Логируйте токены промпта, кэшированные токены и время до первого токена для каждого запроса. Стриминг показывает первый токен сразу, как только он приходит.

Место BroadNet Inference

Две чат-модели BroadNet принимают 1 048 576 токенов на запрос, и BroadNet не обрезает ваш контекст. На ключе с оплатой за токены кэширование делает повторные длинные промпты доступными по цене; в сессии тарифа размер промпта на счёт не влияет. Если ваш корпус намного больше миллиона токенов или меняется каждую минуту, поиск вам всё равно нужен, и никакой размер окна этого не изменит.

Вопросы и ответы

Обрезает ли BroadNet длинные промпты?

Нет. BroadNet не обрезает ваш контекст. Если промпт плюс max_tokens больше окна модели, сократите промпт, а не рассчитывайте на тихую обрезку.

Сколько слов в 1 млн токенов?

Зависит от языка и содержимого. Английский текст в датасете токенизаторов BroadRouter дал около 129 токенов на 100 слов (1000 слов — около 1,290 токенов в среднем по пяти токенизаторам), так что в 1 048 576 токенов помещается примерно 810,000 слов — это намного больше тысячи страниц. Технический текст, код и арабский требуют больше токенов, поэтому считайте на своём реальном контенте.

Запрос на 1 млн токенов — это медленно?

Он стартует дольше короткого запроса, потому что модель сначала должна прочитать весь промпт. При повторных вызовах обычно помогают кэшированные префиксы. Измерьте время до первого токена на своих промптах.

Действительно ли LLM используют всё контекстное окно?

Неравномерно. Статья Lost in the Middle показала, что точность часто максимальна, когда нужная информация находится в начале или в конце входа, а отчёт Chroma Context Rot — что надёжность падает с ростом длины входа. Размещайте ключевой материал по краям и тестируйте на своих данных.

Стоит ли отказаться от RAG?

Не обязательно. Используйте длинный контекст, когда модели нужно видеть всё вместе, и поиск — когда ей нужно несколько фактов из огромной библиотеки. Многие системы сочетают оба подхода.

Что будет, если промпт больше контекстного окна?

BroadNet не обрежет его за вас, так что запрос не выполнится как задумано. Уберите файлы, сожмите старые реплики в краткое изложение или находите только нужные части до отправки.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity