BroadRouter
시작하기

RAG(검색 증강 생성)

업데이트

RAG(검색 증강 생성, retrieval-augmented generation)는 애플리케이션이 먼저 검색 인덱스나 벡터 인덱스 같은 외부 저장소에서 질문과 관련된 구절을 찾고, 이를 프롬프트에 추가해 언어 모델이 기억에만 의존하지 않고 그 텍스트를 바탕으로 답하게 하는 패턴입니다.

다른 이름: 검색 증강 생성, 검색 기반 생성, RAG 파이프라인, retrieval-augmented generation, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

RAG는 모델에게 오픈북 시험을 치르게 합니다. 모델이 답하기 전에 코드가 관련 페이지를 찾아 프롬프트에 넣어 줍니다.

작동 방식

이 용어는 Lewis 외(2020)에서 나왔습니다. 연구진은 생성 모델(“parametric memory”, 번역: 매개변수 기억)과 신경망 검색기로 접근하는 “a dense vector index of Wikipedia”(번역: 위키백과의 밀집 벡터 인덱스, “non-parametric memory” 즉 비매개변수 기억)를 결합했고, 가중치에만 의존하는 모델보다 오픈 도메인 질의응답에서 더 나은 결과를 보고했습니다.

LLM API를 쓰는 요즘의 RAG 파이프라인은 대개 다음과 같습니다.

  1. 인덱싱. 문서를 청크로 나누고, 각 청크를 임베딩으로 바꿔 벡터 데이터베이스에 저장합니다. 키워드 인덱스를 함께 두는 경우가 많습니다.
  2. 검색. 사용자 질문을 임베딩하고 가장 잘 맞는 청크를 5~20개쯤 가져옵니다.
  3. 생성. 그 청크들을 프롬프트에 넣고, 그 내용만으로 답하고 출처를 밝히라는 지시와 함께 채팅 모델에 보냅니다.

모델은 스스로 검색하지 않습니다. 검색 품질이 상한을 정합니다. 올바른 구절이 검색되지 않으면 모델은 그것을 쓸 수 없습니다.

왜 중요한가

  • 최신성. 모델의 가중치는 학습 시점에서 멈춰 있습니다. RAG를 쓰면 오늘 기준의 가격표나 정책으로 답할 수 있습니다.
  • 비용. 청크 10개를 보내는 것은 질문마다 전체 자료를 보내는 것보다 입력 토큰이 훨씬 적게 듭니다.
  • 추적 가능성. 답변이 근거 구절을 인용할 수 있어 그라운딩에 도움이 되고 할루시네이션을 찾아내기 쉬워집니다.
  • 순서가 중요합니다. 모델은 긴 프롬프트의 중간보다 처음과 끝을 더 잘 활용합니다. 가장 좋은 구절을 앞에 두세요. lost in the middle을 참고하세요.

BroadNet Inference에서는

BroadNet은 생성 단계를 맡습니다. 문서에 임베딩 엔드포인트가 없으므로, 검색기에는 별도의 임베딩 모델이나 키워드 검색이 필요합니다. DeepSeek V4.1 Flash와 GLM 5.3은 최대 1,048,576토큰의 컨텍스트를 받으므로, 검색 결과를 넉넉히 넣거나 작은 자료라면 검색 없이 전부 넣는 방식도 현실적입니다. 긴 컨텍스트와 RAG 비교 글은 두 방식을 비용과 재현율(recall) 면에서 비교하고, 아랍어 RAG 검색 글은 아랍어의 정규화와 하이브리드 검색을 다룹니다.

흔한 실수

  • 검색기 탓인데 모델을 탓하는 것. 답변마다 어떤 청크가 검색되었는지 로그에 남기세요.
  • 표나 문장을 반으로 자르는 청크.
  • “찾을 수 없음”이라고 답하라는 지시를 빠뜨리는 것. 그 지시가 없으면 모델은 빈 곳을 기억으로 채웁니다.

자주 묻는 질문

RAG와 파인튜닝은 같은 건가요?

아닙니다. RAG는 요청 시점에 문서를 프롬프트에 추가할 뿐 모델은 전혀 바꾸지 않습니다. 파인튜닝은 모델의 가중치를 바꿉니다. RAG는 갱신이 더 쉬워서, 다시 학습하는 대신 문서를 다시 인덱싱하면 됩니다.

RAG에는 벡터 데이터베이스가 꼭 필요한가요?

항상 그렇지는 않습니다. 키워드 검색, SQL 쿼리, 작은 인메모리 인덱스도 검색기(retriever) 역할을 할 수 있습니다. 문서가 많고 의미 기반 매칭이 필요할 때 벡터 데이터베이스가 도움이 됩니다.

100만 토큰 컨텍스트 윈도우가 RAG를 대체하나요?

경우에 따라 그렇습니다. 전체 자료가 윈도우에 들어가고 캐싱과 함께 자주 조회된다면 전부 보낼 수 있습니다. 자료가 크거나 자주 바뀐다면 질문당 비용과 속도 면에서 여전히 검색이 유리합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기