벡터 데이터베이스는 한 가지 질문에 아주 빠르게 답합니다. 저장된 항목 중 이 쿼리와 의미가 가까운 것은 무엇인가?
작동 방식
각 레코드는 고정 길이의 숫자 목록인 임베딩과, 원본 텍스트, 문서 ID, 날짜 같은 메타데이터로 이루어집니다. 쿼리 시점에는 같은 모델로 질문을 임베딩한 뒤 가장 가까운 벡터 상위 k개를 요청합니다.
“가장 가깝다”를 정하려면 거리 척도가 필요합니다. Postgres 확장인 pgvector는 세 가지 연산자를 제공합니다. 유클리드(L2) 거리의 <->, 음의 내적의 <#>, 코사인 거리의 <=>입니다. 사용하는 임베딩 모델이 학습된 척도를 쓰세요. OpenAI는 자사 벡터에 코사인 유사도를 권장합니다.
쿼리를 저장된 모든 벡터와 비교하면 정확하지만 규모가 커지면 느립니다. 근사 최근접 이웃(ANN) 인덱스는 이를 피합니다.
| 인덱스 | 작동 방식 | 장단점(pgvector 문서 기준) |
|---|---|---|
| HNSW | 계층형 근접 그래프 | 속도 대비 재현율이 더 좋음, 빌드가 느리고 메모리를 더 씀 |
| IVFFlat | 벡터를 여러 리스트로 묶음 | 빌드가 빠르고 메모리를 덜 씀, 같은 재현율에서 쿼리 속도가 낮음 |
Malkov와 Yashunin의 HNSW 논문은 희소한 상위 층에서 검색을 시작하는 그래프 스택을 설명하며, 이 구조가 “allows a logarithmic complexity scaling.”(번역: 로그 복잡도로 확장되게 한다)라고 말합니다. pgvector README는 그 거래를 이렇게 요약합니다. 근사 인덱스는 “trades some recall for speed.”(번역: 재현율 일부를 속도와 맞바꾼다)
왜 중요한가
- 대부분의 RAG 시스템에서 검색기 역할을 합니다. 저장소가 맞는 청크를 놓치면 LLM은 그 내용을 볼 수 없습니다.
- 재현율은 주어지는 것이 아니라 설정값입니다. ANN 파라미터에 따라 돌아오는 결과가 달라집니다. 실제 쿼리로 재현율을 측정하세요.
- 필터링. 실제 쿼리에는 언어, 고객, 날짜 같은 조건이 붙습니다. 필터가 순위 매기기 전에 적용되는지 확인하세요. 상위 k개를 자른 뒤에 적용되면 유효한 결과가 빠질 수 있습니다.
BroadNet Inference에서는
BroadNet은 벡터 저장소를 호스팅하지 않으며, 문서에 임베딩 엔드포인트도 없습니다. 일반적인 구성은 직접 운영하는 벡터 저장소, 다른 곳의 임베딩 모델, 그리고 검색된 청크로 답을 작성하는 BroadNet 채팅 모델입니다. 코퍼스가 작다면 큰 컨텍스트 윈도우가 저장소를 대신할 수 있습니다. 긴 컨텍스트 vs RAG를 참고하세요. 아랍어 텍스트라면 아랍어 RAG 검색에서 벡터 인덱스 옆에 키워드 인덱스를 두면 왜 도움이 되는지 설명합니다.
흔한 실수
- 인덱싱에 쓴 것과 다른 임베딩 모델로 쿼리하는 것.
- 진짜 문제는 낮은 검색 재현율인데 LLM 프롬프트만 손보는 것.