임베딩은 컴퓨터가 의미를 재는 방법입니다. 비슷한 내용을 담은 두 텍스트는 비슷한 방향을 가리키는 두 벡터를 얻습니다.
작동 방식
임베딩 모델에 텍스트를 보내면 길이가 고정된 벡터 하나가 돌아옵니다. OpenAI 가이드는 “An embedding is a vector (list) of floating point numbers.”(번역: 임베딩은 부동소수점 숫자의 벡터, 즉 목록이다)라고 간단히 설명합니다. 길이는 모델마다 고정되어 있습니다. OpenAI의 text-embedding-3-small은 기본으로 숫자 1,536개를, text-embedding-3-large는 3,072개를 반환합니다.
두 텍스트를 비교하려면 두 벡터를 비교합니다. OpenAI는 코사인 유사도를 권합니다. OpenAI의 벡터는 길이 1로 정규화되어 있어 단순 내적으로도 같은 순위가 나옵니다. 쿼리 벡터 하나를 저장된 수백만 개의 벡터와 비교하는 것이 의미 검색의 핵심이며, 이를 대규모로 빠르게 처리하는 것이 벡터 데이터베이스의 역할입니다.
임베딩 모델은 채팅 모델과 종류가 다릅니다. 입력 전체를 읽고 숫자를 반환할 뿐 텍스트를 생성하지 않습니다. 과금은 입력 토큰 단위이며, 출력 텍스트가 없으므로 출력 요금도 없습니다.
왜 중요한가
- 검색. 임베딩은 검색 증강 생성(RAG)의 일반적인 첫 단계입니다. 문서는 한 번 임베딩해 두고, 질문마다 임베딩한 뒤 가장 가까운 청크를 가져와 채팅 모델에 넘깁니다.
- 모델에 따라 결과가 달라집니다. MTEB 벤치마크는 8가지 작업 유형, 58개 데이터셋, 112개 언어에서 모델 33개를 테스트했고 “no particular text embedding method dominates across all tasks”(번역: 모든 작업에서 우세한 특정 텍스트 임베딩 방법은 없다)라는 결론을 냈습니다. 특히 아랍어나 여러 언어가 섞인 텍스트라면 실제 쿼리로 테스트하세요.
- 종속성. 한 모델의 벡터는 다른 모델의 벡터와 비교할 수 없습니다. 임베딩 모델을 바꾸면 전체 자료를 다시 임베딩해야 합니다.
BroadNet Inference에서는
BroadNet 문서에는 /v1/chat/completions, /v1/audio/transcriptions, GET /v1/models(모델 목록)가 나와 있습니다. 임베딩 엔드포인트는 없습니다. 검색이나 RAG 시스템을 만든다면 별도의 임베딩 모델(호스팅 API 또는 직접 운영하는 오픈 모델)과 답변용 BroadNet 채팅 모델을 함께 쓰세요. 아랍어 RAG 가이드에서 다국어 임베딩 모델로 이렇게 나눠 쓰는 방법을 보여 줍니다.
문서가 컨텍스트에 들어간다면 긴 컨텍스트 윈도우로 검색 단계를 아예 건너뛸 수 있는 경우도 있습니다. 장단점은 긴 컨텍스트와 RAG 비교에 정리되어 있습니다.
흔한 실수
- 서로 다른 두 임베딩 모델의 벡터를 한 인덱스에 섞는 것.
- 청크가 아니라 문서 전체를 임베딩하는 것. 50페이지에 벡터 하나를 쓰면 그 안의 모든 주제가 흐려집니다.
- 문서만 정규화하고 쿼리는 정규화하지 않는 것, 또는 그 반대. 양쪽에 같은 텍스트 정리 과정을 적용하세요.