BroadRouter
Начать

RAG (генерация, дополненная поиском)

Обновлено

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

Также называют: генерация с дополненной выборкой, генерация, дополненная поиском, RAG-система, RAG-конвейер, RAG, retrieval-augmented generation, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

RAG даёт модели открытую книгу: прежде чем она ответит, ваш код находит нужные страницы и кладёт их в промпт.

Как это работает

Термин появился в работе Lewis и др. (2020). Авторы объединили генерирующую модель (“parametric memory”, перевод: «параметрическая память») с “a dense vector index of Wikipedia” (перевод: «плотным векторным индексом Википедии»; “non-parametric memory”, перевод: «непараметрическая память»), к которому модель обращалась через нейросетевой ретривер, и сообщили о лучших результатах в ответах на вопросы открытой предметной области, чем у моделей, полагавшихся только на свои веса.

Современный RAG-конвейер с LLM API обычно выглядит так:

  1. Индексация. Документы делятся на фрагменты (чанки), каждый превращается в эмбеддинги и сохраняется в векторной базе данных, часто рядом с индексом по ключевым словам.
  2. Поиск. Вопрос пользователя тоже превращается в эмбеддинг, и находятся самые похожие фрагменты, скажем от 5 до 20.
  3. Генерация. Эти фрагменты попадают в промпт с инструкцией отвечать только по ним и ссылаться на них. Промпт отправляется чат-модели.

Модель сама ничего не ищет. Потолок задаёт качество поиска: если нужный фрагмент не найден, модель не сможет им воспользоваться.

Почему это важно

  • Актуальность. Знания в весах модели заканчиваются датой окончания обучения. RAG позволяет отвечать по сегодняшнему прайс-листу или регламенту.
  • Стоимость. 10 фрагментов стоят намного меньше входных токенов, чем весь корпус в каждом вопросе.
  • Прослеживаемость. Ответы могут ссылаться на фрагменты, из которых взяты, — это помогает заземлению (grounding) и облегчает поиск галлюцинаций.
  • Порядок важен. Начало и конец длинного промпта модели используют лучше, чем середину. Ставьте лучшие фрагменты первыми. См. lost in the middle.

В BroadNet Inference

BroadNet отвечает за этап генерации. Эндпоинт для эмбеддингов в документации не указан, поэтому для поиска нужна отдельная модель эмбеддингов или поиск по ключевым словам. DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов контекста, поэтому можно щедро добавлять найденные фрагменты (а для небольших корпусов — обойтись без поиска). Статья «длинный контекст или RAG» сравнивает оба подхода по цене и полноте, а поиск для RAG на арабском разбирает нормализацию и гибридный поиск для арабского.

Частые ошибки

  • Винить модель, когда ошибается поиск. Логируйте, какие фрагменты были найдены для каждого ответа.
  • Фрагменты, которые режут таблицы или предложения пополам.
  • Нет инструкции отвечать «не найдено». Без неё модель заполняет пробелы по памяти.

Вопросы и ответы

RAG — это то же самое, что дообучение?

Нет. RAG добавляет документы в промпт в момент запроса и ничего не меняет в модели. Дообучение меняет веса модели. RAG проще обновлять: вы переиндексируете документ, а не переобучаете модель.

Нужна ли для RAG векторная база данных?

Не всегда. Поиском (ретривером) может служить поиск по ключевым словам, SQL-запрос или небольшой индекс в памяти. Векторная база полезна, когда документов много и нужны совпадения по смыслу.

Заменяет ли контекстное окно в 1 млн токенов RAG?

Иногда. Если весь корпус помещается в окно и к нему часто обращаются с кэшированием, можно отправлять его целиком. Для больших или быстро меняющихся корпусов поиск всё ещё дешевле и быстрее в расчёте на вопрос.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity