BroadRouter
시작하기

벡터 데이터베이스(vector database)

업데이트

벡터 데이터베이스는 임베딩 벡터를 원본 텍스트, 메타데이터와 함께 저장하고 최근접 이웃 쿼리에 답하는 데이터 저장소입니다. 쿼리 벡터가 주어지면 저장된 벡터 중 가장 비슷한 것을 돌려주며, 보통 코사인 거리, 유클리드 거리, 내적으로 유사도를 잽니다.

다른 이름: 벡터 데이터베이스, 벡터 DB, 벡터 스토어, 벡터 저장소, 벡터 인덱스, 벡터 검색 엔진, 유사도 검색, vector database, vector store, vector DB, vector index, vector search engine, similarity search database

벡터 데이터베이스는 한 가지 질문에 아주 빠르게 답합니다. 저장된 항목 중 이 쿼리와 의미가 가까운 것은 무엇인가?

작동 방식

각 레코드는 고정 길이의 숫자 목록인 임베딩과, 원본 텍스트, 문서 ID, 날짜 같은 메타데이터로 이루어집니다. 쿼리 시점에는 같은 모델로 질문을 임베딩한 뒤 가장 가까운 벡터 상위 k개를 요청합니다.

“가장 가깝다”를 정하려면 거리 척도가 필요합니다. Postgres 확장인 pgvector는 세 가지 연산자를 제공합니다. 유클리드(L2) 거리의 <->, 음의 내적의 <#>, 코사인 거리의 <=>입니다. 사용하는 임베딩 모델이 학습된 척도를 쓰세요. OpenAI는 자사 벡터에 코사인 유사도를 권장합니다.

쿼리를 저장된 모든 벡터와 비교하면 정확하지만 규모가 커지면 느립니다. 근사 최근접 이웃(ANN) 인덱스는 이를 피합니다.

인덱스 작동 방식 장단점(pgvector 문서 기준)
HNSW 계층형 근접 그래프 속도 대비 재현율이 더 좋음, 빌드가 느리고 메모리를 더 씀
IVFFlat 벡터를 여러 리스트로 묶음 빌드가 빠르고 메모리를 덜 씀, 같은 재현율에서 쿼리 속도가 낮음

Malkov와 Yashunin의 HNSW 논문은 희소한 상위 층에서 검색을 시작하는 그래프 스택을 설명하며, 이 구조가 “allows a logarithmic complexity scaling.”(번역: 로그 복잡도로 확장되게 한다)라고 말합니다. pgvector README는 그 거래를 이렇게 요약합니다. 근사 인덱스는 “trades some recall for speed.”(번역: 재현율 일부를 속도와 맞바꾼다)

왜 중요한가

  • 대부분의 RAG 시스템에서 검색기 역할을 합니다. 저장소가 맞는 청크를 놓치면 LLM은 그 내용을 볼 수 없습니다.
  • 재현율은 주어지는 것이 아니라 설정값입니다. ANN 파라미터에 따라 돌아오는 결과가 달라집니다. 실제 쿼리로 재현율을 측정하세요.
  • 필터링. 실제 쿼리에는 언어, 고객, 날짜 같은 조건이 붙습니다. 필터가 순위 매기기 전에 적용되는지 확인하세요. 상위 k개를 자른 뒤에 적용되면 유효한 결과가 빠질 수 있습니다.

BroadNet Inference에서는

BroadNet은 벡터 저장소를 호스팅하지 않으며, 문서에 임베딩 엔드포인트도 없습니다. 일반적인 구성은 직접 운영하는 벡터 저장소, 다른 곳의 임베딩 모델, 그리고 검색된 청크로 답을 작성하는 BroadNet 채팅 모델입니다. 코퍼스가 작다면 큰 컨텍스트 윈도우가 저장소를 대신할 수 있습니다. 긴 컨텍스트 vs RAG를 참고하세요. 아랍어 텍스트라면 아랍어 RAG 검색에서 벡터 인덱스 옆에 키워드 인덱스를 두면 왜 도움이 되는지 설명합니다.

흔한 실수

  • 인덱싱에 쓴 것과 다른 임베딩 모델로 쿼리하는 것.
  • 진짜 문제는 낮은 검색 재현율인데 LLM 프롬프트만 손보는 것.

자주 묻는 질문

전용 벡터 데이터베이스가 꼭 필요한가요?

꼭 그렇지는 않습니다. pgvector 같은 확장은 Postgres에 벡터 컬럼과 유사도 검색을 추가하므로, 벡터를 다른 데이터와 같은 곳에 둘 수 있습니다. 전용 저장소는 규모가 매우 크거나 필터링 요구가 많을 때 도움이 됩니다.

벡터 검색은 정확한가요?

정확할 수도 있습니다. pgvector는 기본적으로 정확한 최근접 이웃 검색을 하므로 재현율이 완벽합니다. HNSW나 IVFFlat 인덱스를 추가하면 근사 검색이 되고 속도가 빨라집니다.

벡터 데이터베이스에 제 텍스트도 저장되나요?

보통은 각 벡터 옆에 원본 청크나 문서 ID를 함께 저장합니다. 프롬프트에는 텍스트가 필요하고, 벡터에서 텍스트를 확실하게 되살릴 방법은 없기 때문입니다. 그래도 Morris 외(2023)는 32토큰짜리 테스트 입력의 92%를 임베딩만으로 정확히 복원했으니, 벡터도 텍스트처럼 보호하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기