BroadRouter
Начать

Заземление (grounding)

Обновлено

Заземление (grounding) — это практика привязки ответа языковой модели к конкретным проверяемым источникам информации, например к переданным документам, результатам поиска или записям базы данных, с инструкцией отвечать на их основе. Заземлённые ответы можно проследить до источника, и в них реже встречаются выдуманные факты.

Также называют: заземление, заземление LLM, граундинг, ответы по источникам, ответы на основе документов, привязка к источникам, grounding, grounded generation, source grounding, grounded answers

Незаземлённая модель отвечает по памяти. Заземлённая — по странице, которая лежит перед ней.

Как это работает

Документация Google Vertex AI определяет grounding как “the ability to connect model output to verifiable sources of information.” (перевод: «способность связывать ответ модели с проверяемыми источниками информации».) Источником может быть веб-поиск, ваши собственные документы, картографический сервис или база данных. Каким бы ни был источник, схема состоит из трёх частей:

  1. Получить доказательства для вопроса: найденные фрагменты, целый файл, изображение счёта, строки из SQL.
  2. Поместить их в промпт с инструкцией отвечать только на их основе.
  3. Сделать ответ проверяемым с помощью цитат, маркеров ссылок или ссылок на источник.

Самый известный метод — генерация, дополненная поиском (retrieval-augmented generation). Lewis и соавторы соединили генератор с “dense vector index of Wikipedia” (перевод: «плотным векторным индексом Википедии»), к которому обращается нейросетевой ретривер, и сообщили, что ответы получились конкретнее и точнее по фактам, чем у модели, опирающейся только на свои параметры. Для построения такого индекса нужны эмбеддинги и часто векторная база данных.

Минимальный заземлённый промпт:

Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."

<policy>Refunds are available within 14 days of purchase.</policy>

Question: Can I get a refund after three weeks?

Заземлённый ответ скажет «нет» и процитирует предложение о 14 днях. Незаземлённая модель может придумать правдоподобный срок в 30 дней.

Для длинных входов Anthropic предлагает сначала извлечь цитаты: для документов длиннее 20 000 токенов попросите модель выписать дословные цитаты, а затем отвечать только по ним.

Почему это важно

  • Меньше выдуманных фактов. Google называет снижение галлюцинаций одним из главных преимуществ. Заземление — самое прямое средство против галлюцинаций о ваших собственных данных.
  • Свежая информация. Веса модели заморожены на момент обучения. Источники для заземления могут меняться ежедневно без переобучения.
  • Проверяемость. Утверждение с цитатой может проверить человек или код.
  • Компромисс по стоимости. Доказательства — это входные токены. Найти пять фрагментов дешевле, чем отправить целое руководство, но можно упустить тот фрагмент, который важен. Очень длинные промпты к тому же рискуют эффектом lost in the middle.

В BroadNet Inference

В документации BroadNet нет эндпоинта эмбеддингов, инструмента поиска или функции ссылок на источники, поэтому поиск выполняется в вашем коде. Что даёт API, так это место для доказательств: контекстное окно на 1 048 576 токенов у DeepSeek V4.1 Flash и GLM 5.3, 262 144 у Qwen3.8 27B и ввод изображений у моделей, для которых в документации указаны изображения или vision. Поэтому вариант «вставить документ целиком» вполне реален; статья длинный контекст или RAG сравнивает стоимость обоих подходов, а руководство по счетам заземляет извлечение данных на отсканированное изображение.

Вопросы и ответы

Заземление — это то же самое, что RAG?

RAG — один из способов заземления. Он находит фрагменты и добавляет их в промпт. Заземлить ответ можно и иначе: вставить документ целиком, приложить изображение или добавить результаты поиска в реальном времени или запроса к базе данных.

Гарантирует ли заземление правильный ответ?

Нет. Модель всё равно может неверно прочитать источник или проигнорировать его. Просите цитаты или ссылки и проверяйте, что каждая из них действительно есть в источнике.

Как заставить LLM отвечать только по моим документам?

Передайте документы, велите модели использовать только их, разрешите ей ответить, что ответа там нет, и требуйте цитату для каждого утверждения.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity