BroadRouter

Длинный контекст или RAG: когда 1 млн токенов заменяет векторную БД

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Длинный контекст заменяет RAG, когда корпус помещается в окно, редко меняется, а вопросы требуют сразу многих его частей; кэширование делает повторные запросы дешёвыми. RAG по-прежнему выигрывает, когда корпус больше окна, постоянно обновляется, требует прав доступа на уровне пользователя или ответ нужен за секунду-две. Многие системы находят документы через RAG, а рассуждают над ними в длинном контексте.

Руководство по контекстному окну на 1 млн токенов рассказывает, что помещается в миллион токенов и сколько стоит один запрос. Эта статья отвечает на более узкий вопрос, который всплывает на каждом архитектурном ревью: можно ли удалить векторную базу данных и RAG-конвейер вокруг неё? Иногда — да. Вот как решить, по четырём осям: цена, задержка, полнота и поддержка.

Когда длинный контекст заменяет RAG?

Должны выполняться все четыре условия:

  1. Корпус помещается. Промпт, ответ и рассуждения укладываются в контекстное окно с запасом. У DeepSeek V4.1 Flash и GLM 5.3 это окно — 1 048 576 токенов (сравнение двух моделей). Калькулятор контекстного окна проверит, помещаются ли ваши документы.
  2. Он редко меняется. Руководство, которое обновляется раз в месяц, подходит. Очередь тикетов, которая обновляется каждую минуту, — нет.
  3. Всем можно видеть всё. Один общий корпус, без прав доступа по пользователям, которые нужно фильтровать.
  4. Вопросы охватывают весь корпус. Для вопроса «Какие договоры противоречат новой политике?» нужно видеть всё; для вопроса «Какой срок возврата?» — нет.

Если хоть одно условие не выполняется, оставьте поиск или используйте гибрид.

Как соотносится цена одного запроса?

Возьмём набор документов на 400 000 токенов и вопрос с ответом на 500 токенов. RAG находит, скажем, 8000 токенов фрагментов. Ключ с оплатой по факту, модель DeepSeek V4.1 Flash:

Подход Вход на запрос Стоимость входа на запрос
Длинный контекст, первый запрос 400 000 новых 0,4 × $0.175
Длинный контекст, повторный запрос, префикс в кэше около 400 000 из кэша около 0,4 × $0.0055
RAG 8000 новых 0,008 × $0.175

Выход во всех случаях одинаков: 500 токенов × $0.52 за 1 млн. (Каждый множитель — это миллионы токенов, умноженные на цену за 1 млн.)

Отсюда три вывода. Без кэширования длинный контекст обходится по входу в 50 раз дороже RAG на запрос, потому что отправляет в 50 раз больше токенов. Когда корпус в кэше, разрыв сильно сокращается: вход из кэша на этой модели стоит несколько процентов от нового входа. Но кэш держится, только пока префикс остаётся побайтово идентичным, поэтому корпус должен идти первым и не меняться; см. структура промпта для кэширования. У RAG есть свои расходы, которых нет в таблице: эмбеддинги корпуса, работа векторного хранилища и время инженеров на настройку разбиения на фрагменты. Часть с эмбеддингами считает калькулятор стоимости эмбеддингов. Сторону запросов — фрагменты, токены на запрос и месячный счёт за LLM — считает калькулятор чанкинга для RAG.

Чтобы понять, сколько стоит ваша доля попаданий в кэш, попробуйте калькулятор кэширования промптов. На тарифе с фиксированной ценой столбец входа исчезает: Full Moon стоит $60 в месяц за сессию без счётчика токенов, так что промпт на 400 000 токенов стоит столько же, сколько короткий.

Как соотносится задержка?

Модель читает весь промпт, прежде чем написать первый токен. Время до первого токена растёт с длиной промпта, и промпту длиной в сотни тысяч токенов нужно заметно больше времени на старт, чем промпту на 8000. Во многих системах обслуживания помогает кэширование префиксов. Сам векторный поиск обычно добавляет немного: вызов поиска мал по сравнению с генерацией.

Поэтому для интерактивного ассистента, который должен ответить за секунду-две, RAG — более надёжный выбор по умолчанию. Для аналитика, который задаёт один глубокий вопрос и ждёт ответа, длинный контекст вполне подходит. Измерьте TTFT на своих промптах того размера, который планируете отправлять.

У чего полнота лучше?

Ни один подход не идеален, и ломаются они по-разному.

Длинный контекст может терять факты в середине (lost in the middle). Исследование Lost in the Middle показало, что модели лучше всего используют информацию в начале или в конце входа и хуже — посередине. Бенчмарк RULER показал, что модели, почти идеально проходящие простые тесты «иголка в стоге сена», на более сложных задачах с ростом входа деградируют, и из моделей, заявляющих контекст 32K токенов и больше, “only half of them” (перевод: «только половина из них») сохранили удовлетворительное качество на 32K. Новые модели справляются лучше, но заявленное окно — не то же самое, что окно, в котором качество держится.

RAG ломается ещё до того, как модель начнёт работу: если поиск пропустил фрагмент, модель его никогда не увидит. Вопросы, требующие многих фрагментов или сформулированные иными словами, чем источник, — классические промахи.

Вид сбоя Длинный контекст RAG
Факт спрятан в середине промпта Риск растёт с длиной Низкий, промпт короткий
Для ответа нужно 20 разрозненных фрагментов Сильная сторона Слабо, если top-k не велик
Формулировка запроса отличается от источника Сильная сторона Зависит от эмбеддингов и реранкинга
Корпус больше окна Невозможно Сильная сторона

Два способа снизить риски длинного контекста: ставьте вопрос в конце, после документов, и просите модель цитировать строки, на которые она опирается.

А что с поддержкой?

RAG — это система: разбиение на фрагменты, эмбеддинги, индекс, переиндексация при изменениях, фильтры прав доступа, оценка качества поиска. Длинный контекст — это промпт: склейте файлы с понятными метками и отправьте. Для небольшой команды с корпусом, который помещается в окно, удаление конвейера снимает реальную работу. Для большого, меняющегося корпуса с правами доступа конвейер делает работу, которую длинный контекст сделать не может.

Гибрид, к которому приходит большинство команд

  1. Находите документы с запасом: не пять фрагментов, а целые документы, вплоть до нескольких сотен тысяч токенов.
  2. Упорядочивайте их стабильно (по ID документа, а не по релевантности), чтобы префикс кэшировался между связанными вопросами.
  3. Ставьте вопрос в конец и отправляйте модели с длинным контекстом.
  4. Просите ссылаться на метки документов и выборочно проверяйте эти ссылки.

Так сохраняется охват огромного корпуса, который даёт RAG, и способность длинного контекста рассуждать по многим источникам. Заодно это прощает более слабый поиск: документ, оказавшийся чуть ниже порога, всё равно попадает в промпт.

Место BroadNet Inference

BroadNet Inference предлагает две модели с окном 1 млн токенов, DeepSeek V4.1 Flash и GLM 5.3, и не обрезает ваш контекст, так что слишком большой запрос завершится ошибкой, а не тихой потерей документов. Вход из кэша на ключе с оплатой за токены тарифицируется по пониженной ставке для кэша, а безлимитные тарифы полностью убирают счётчик токенов для DeepSeek V4.1 Flash. В справочнике API указаны chat completions и распознавание речи, но не эндпоинт эмбеддингов и не векторное хранилище, так что для RAG-части нужен свой стек. Оставляйте в окне место для токенов рассуждений; почему — объясняет руководство по рассуждениям. Цены — на странице цен.

Вопросы и ответы

RAG больше не нужен, раз у моделей окно в 1 млн токенов?

Нужен. Длинный контекст избавляет от поиска, когда весь корпус помещается в окно и стабилен. Большинство корпоративных баз знаний больше миллиона токенов, меняются ежедневно и требуют прав доступа — это по-прежнему территория RAG.

Длинный контекст точнее, чем RAG?

Зависит от вопроса. Длинный контекст лучше, когда для ответа нужно свести много фрагментов. RAG может быть лучше при поиске одного факта в огромном корпусе, потому что короткий промпт помогает модели не отвлекаться. Тестируйте оба подхода на реальных вопросах.

Сколько слов помещается в контекстное окно на 1 млн токенов?

Около 810,000 слов обычного английского текста в окне DeepSeek V4.1 Flash на 1 048 576 токенов, если считать по 1,290 токенов на 1000 слов — столько показали замеры пяти токенизаторов в датасете BroadRouter. Технический английский, код, таблицы и арабский текст требуют больше токенов на слово, поэтому их помещается меньше. Оставьте место для ответа и рассуждений.

Можно ли сочетать RAG и длинный контекст?

Да, и часто это лучший вариант. Находите документы с запасом, например 100 000–200 000 токенов кандидатов, а затем дайте модели с длинным контекстом рассуждать над всеми ними, а не над пятью лучшими фрагментами.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity