그라운딩되지 않은 모델은 기억에 의존해 답합니다. 그라운딩된 모델은 눈앞의 자료를 보고 답합니다.
작동 방식
Google의 Vertex AI 문서는 그라운딩을 “the ability to connect model output to verifiable sources of information.”(번역: 모델 출력을 검증 가능한 정보 출처에 연결하는 능력)로 정의합니다. 출처는 웹 검색, 내 문서, 지도 서비스, 데이터베이스가 될 수 있습니다. 출처가 무엇이든 패턴은 세 부분으로 이루어집니다.
- 근거 가져오기. 질문에 맞는 근거를 가져옵니다. 검색된 문단, 파일 전체, 청구서 이미지, SQL 결과 행 등입니다.
- 프롬프트에 넣기. 근거만 보고 답하라는 지시와 함께 넣습니다.
- 답을 검증 가능하게 만들기. 인용, 출처 표시, 출처로 돌아가는 링크를 붙입니다.
가장 잘 알려진 방법은 검색 증강 생성(RAG)입니다. Lewis 등은 생성기를 신경망 검색기로 접근하는 “dense vector index of Wikipedia”(번역: 위키백과의 밀집 벡터 인덱스)와 결합했고, 파라미터만으로 답하는 모델보다 더 구체적이고 사실에 맞는 답을 얻었다고 보고했습니다. 이런 인덱스를 만들 때는 임베딩을 쓰고, 흔히 벡터 데이터베이스도 씁니다.
최소한의 그라운딩 프롬프트는 다음과 같습니다.
Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."
<policy>Refunds are available within 14 days of purchase.</policy>
Question: Can I get a refund after three weeks?
그라운딩된 답은 “안 된다”고 하면서 14일 문장을 인용합니다. 그라운딩되지 않은 모델은 그럴듯해 보이는 30일 정책을 추측할 수도 있습니다.
입력이 길 때 Anthropic은 인용 먼저 단계를 제안합니다. 20,000토큰이 넘는 문서는 모델이 먼저 문장을 그대로 인용해 뽑게 하고, 그 인용만 근거로 답하게 하는 방식입니다.
왜 중요한가
- 지어낸 사실 감소. Google은 할루시네이션 감소를 핵심 이점으로 꼽습니다. 내 데이터에 관한 할루시네이션에는 그라운딩이 가장 직접적인 해결책입니다.
- 최신 정보. 모델 가중치는 학습 시점에 고정됩니다. 그라운딩 출처는 재학습 없이 매일 바뀔 수 있습니다.
- 감사 가능성. 인용이 붙은 주장은 사람이나 코드로 확인할 수 있습니다.
- 비용 트레이드오프. 근거는 입력 토큰입니다. 문단 다섯 개를 검색하는 편이 매뉴얼 전체를 보내는 것보다 싸지만, 중요한 문단을 놓칠 수 있습니다. 프롬프트가 아주 길면 lost in the middle 문제로 정보를 놓칠 위험도 있습니다.
BroadNet Inference에서는
BroadNet 문서에는 임베딩 엔드포인트, 검색 도구, 출처 표시 기능이 없으므로 검색은 여러분의 코드에서 실행합니다. API가 주는 것은 근거를 담을 공간입니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰, Qwen3.8 27B는 262,144 토큰의 컨텍스트 윈도우를 제공하고, 문서 항목에 이미지나 비전이 적힌 모델은 이미지 입력을 받습니다. 그래서 “문서 전체를 붙여 넣기”도 현실적인 선택지입니다. 긴 컨텍스트 vs RAG에서 각각의 비용을 비교하고, 청구서 가이드는 스캔한 이미지에 근거해 정보를 추출합니다.