RAG는 모델에게 오픈북 시험을 치르게 합니다. 모델이 답하기 전에 코드가 관련 페이지를 찾아 프롬프트에 넣어 줍니다.
작동 방식
이 용어는 Lewis 외(2020)에서 나왔습니다. 연구진은 생성 모델(“parametric memory”, 번역: 매개변수 기억)과 신경망 검색기로 접근하는 “a dense vector index of Wikipedia”(번역: 위키백과의 밀집 벡터 인덱스, “non-parametric memory” 즉 비매개변수 기억)를 결합했고, 가중치에만 의존하는 모델보다 오픈 도메인 질의응답에서 더 나은 결과를 보고했습니다.
LLM API를 쓰는 요즘의 RAG 파이프라인은 대개 다음과 같습니다.
- 인덱싱. 문서를 청크로 나누고, 각 청크를 임베딩으로 바꿔 벡터 데이터베이스에 저장합니다. 키워드 인덱스를 함께 두는 경우가 많습니다.
- 검색. 사용자 질문을 임베딩하고 가장 잘 맞는 청크를 5~20개쯤 가져옵니다.
- 생성. 그 청크들을 프롬프트에 넣고, 그 내용만으로 답하고 출처를 밝히라는 지시와 함께 채팅 모델에 보냅니다.
모델은 스스로 검색하지 않습니다. 검색 품질이 상한을 정합니다. 올바른 구절이 검색되지 않으면 모델은 그것을 쓸 수 없습니다.
왜 중요한가
- 최신성. 모델의 가중치는 학습 시점에서 멈춰 있습니다. RAG를 쓰면 오늘 기준의 가격표나 정책으로 답할 수 있습니다.
- 비용. 청크 10개를 보내는 것은 질문마다 전체 자료를 보내는 것보다 입력 토큰이 훨씬 적게 듭니다.
- 추적 가능성. 답변이 근거 구절을 인용할 수 있어 그라운딩에 도움이 되고 할루시네이션을 찾아내기 쉬워집니다.
- 순서가 중요합니다. 모델은 긴 프롬프트의 중간보다 처음과 끝을 더 잘 활용합니다. 가장 좋은 구절을 앞에 두세요. lost in the middle을 참고하세요.
BroadNet Inference에서는
BroadNet은 생성 단계를 맡습니다. 문서에 임베딩 엔드포인트가 없으므로, 검색기에는 별도의 임베딩 모델이나 키워드 검색이 필요합니다. DeepSeek V4.1 Flash와 GLM 5.3은 최대 1,048,576토큰의 컨텍스트를 받으므로, 검색 결과를 넉넉히 넣거나 작은 자료라면 검색 없이 전부 넣는 방식도 현실적입니다. 긴 컨텍스트와 RAG 비교 글은 두 방식을 비용과 재현율(recall) 면에서 비교하고, 아랍어 RAG 검색 글은 아랍어의 정규화와 하이브리드 검색을 다룹니다.
흔한 실수
- 검색기 탓인데 모델을 탓하는 것. 답변마다 어떤 청크가 검색되었는지 로그에 남기세요.
- 표나 문장을 반으로 자르는 청크.
- “찾을 수 없음”이라고 답하라는 지시를 빠뜨리는 것. 그 지시가 없으면 모델은 빈 곳을 기억으로 채웁니다.