RAG даёт модели открытую книгу: прежде чем она ответит, ваш код находит нужные страницы и кладёт их в промпт.
Как это работает
Термин появился в работе Lewis и др. (2020). Авторы объединили генерирующую модель (“parametric memory”, перевод: «параметрическая память») с “a dense vector index of Wikipedia” (перевод: «плотным векторным индексом Википедии»; “non-parametric memory”, перевод: «непараметрическая память»), к которому модель обращалась через нейросетевой ретривер, и сообщили о лучших результатах в ответах на вопросы открытой предметной области, чем у моделей, полагавшихся только на свои веса.
Современный RAG-конвейер с LLM API обычно выглядит так:
- Индексация. Документы делятся на фрагменты (чанки), каждый превращается в эмбеддинги и сохраняется в векторной базе данных, часто рядом с индексом по ключевым словам.
- Поиск. Вопрос пользователя тоже превращается в эмбеддинг, и находятся самые похожие фрагменты, скажем от 5 до 20.
- Генерация. Эти фрагменты попадают в промпт с инструкцией отвечать только по ним и ссылаться на них. Промпт отправляется чат-модели.
Модель сама ничего не ищет. Потолок задаёт качество поиска: если нужный фрагмент не найден, модель не сможет им воспользоваться.
Почему это важно
- Актуальность. Знания в весах модели заканчиваются датой окончания обучения. RAG позволяет отвечать по сегодняшнему прайс-листу или регламенту.
- Стоимость. 10 фрагментов стоят намного меньше входных токенов, чем весь корпус в каждом вопросе.
- Прослеживаемость. Ответы могут ссылаться на фрагменты, из которых взяты, — это помогает заземлению (grounding) и облегчает поиск галлюцинаций.
- Порядок важен. Начало и конец длинного промпта модели используют лучше, чем середину. Ставьте лучшие фрагменты первыми. См. lost in the middle.
В BroadNet Inference
BroadNet отвечает за этап генерации. Эндпоинт для эмбеддингов в документации не указан, поэтому для поиска нужна отдельная модель эмбеддингов или поиск по ключевым словам. DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов контекста, поэтому можно щедро добавлять найденные фрагменты (а для небольших корпусов — обойтись без поиска). Статья «длинный контекст или RAG» сравнивает оба подхода по цене и полноте, а поиск для RAG на арабском разбирает нормализацию и гибридный поиск для арабского.
Частые ошибки
- Винить модель, когда ошибается поиск. Логируйте, какие фрагменты были найдены для каждого ответа.
- Фрагменты, которые режут таблицы или предложения пополам.
- Нет инструкции отвечать «не найдено». Без неё модель заполняет пробелы по памяти.