BroadRouter
시작하기

청킹(chunking, RAG)

업데이트

청킹(chunking)은 검색 파이프라인에서 문서를 임베딩하고 인덱싱하기 전에 청크라고 부르는 작은 조각으로 나누는 단계입니다. 청크 크기는 조각 하나에 담기는 텍스트 양을 정하고, 청크 오버랩은 이웃한 청크 사이에 일부 텍스트를 반복해 경계에서 잘린 내용이 사라지지 않게 합니다.

다른 이름: 청크, 청크 크기, 청크 오버랩, 텍스트 분할, 문서 분할, 청킹 전략, RAG 청킹, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

검색기는 문서 절반을 돌려줄 수 없습니다. 조각을 어떻게 나눌지는 청킹이 정합니다.

작동 방식

LangChain 문서는 목적을 간단히 설명합니다. 텍스트 분할기는 “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.”(번역: 큰 문서를 개별적으로 검색할 수 있고 모델 컨텍스트 윈도우 한도에 들어가는 더 작은 청크로 나눈다)라고 합니다. 각 청크는 임베딩으로 바뀌어 벡터 데이터베이스에 저장되거나, 키워드 검색용으로 인덱싱됩니다.

대부분의 청킹 도구는 숫자 두 개로 제어합니다.

  • 청크 크기: 청크 하나의 최대 길이로, 문자 수나 토큰 수로 정합니다.
  • 청크 오버랩: 한 청크의 끝부분 텍스트를 다음 청크의 시작에 얼마나 반복할지입니다.

분할기는 자르는 위치도 다릅니다. LangChain은 대부분의 경우 재귀 분할기로 시작하라고 권합니다. 이 분할기는 문단 같은 큰 단위를 가능한 한 통째로 유지하고, 단위가 너무 크면 문장, 그다음 단어 단위로 내려갑니다. LlamaIndex의 SentenceSplitter는 문장 경계를 기준으로 동작하며, 문서에 설정값을 명시한 예가 나와 있습니다.

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

계산 예시: 100,000토큰 코퍼스를 오버랩 50토큰의 500토큰 청크로 나누면 청크가 약 222개(새 청크마다 새 토큰 450개 추가) 나오고, 임베딩할 토큰은 약 111,000개로 오버랩이 없을 때보다 11% 많습니다.

왜 중요한가

  • 재현율. 너무 작은 청크는 맥락을 잃고, 너무 큰 청크는 관련 없는 텍스트 때문에 매칭이 희석됩니다.
  • LLM 비용. 검색된 청크는 입력 토큰으로 전송됩니다. 1,000토큰짜리 청크 5개는 질문마다 입력 토큰 5,000개를 더합니다.
  • 인덱스 비용. 오버랩과 작은 청크는 둘 다 임베딩하고 저장할 벡터 수를 늘립니다.
  • 언어. 아랍어 단어에는 토큰 수와 매칭을 바꾸는 접어와 발음 구별 기호가 붙을 수 있습니다. 아랍어의 청킹과 정규화는 아랍어 RAG 검색에서 다룹니다.

청킹은 여러 수단 중 하나일 뿐입니다. 크기만 조정하는 것보다 하이브리드 검색이나 리랭커를 추가하는 편이 효과가 더 클 때가 많습니다.

BroadNet Inference에서는

BroadNet은 임베딩 엔드포인트를 제공하지 않으므로, 청킹과 임베딩은 직접 쓰는 도구나 다른 제공업체로 하고, 검색된 청크를 BroadNet 채팅 모델에 보내면 됩니다. 긴 컨텍스트 모델은 이 트레이드오프를 바꿉니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576토큰을 받으므로, 작은 코퍼스라면 검색 없이 전부 들어갈 수도 있습니다. 긴 컨텍스트와 RAG 비교에서 두 방식을 비교합니다.

RAG 청킹 계산기는 설정값에 따른 청크 수, 인덱스 크기, 쿼리당 토큰을 추정하고, RAG 청크 크기와 오버랩에서는 공개된 테스트를 단계별로 살펴봅니다.

자주 묻는 질문

청크 크기는 얼마로 시작하면 되나요?

정답인 값은 하나가 아닙니다. 시작 크기를 정하고, 답을 알고 있는 실제 질문으로 작은 테스트 세트를 만든 뒤, 두세 가지 크기에서 검색 적중률을 비교하세요. 공개된 결과는 RAG 청크 크기 글에 정리되어 있습니다.

오버랩을 두면 인덱스가 커지나요?

네. 겹치는 텍스트는 두 번 이상 저장되고 임베딩되므로, 인덱스 크기와 임베딩 비용이 오버랩 비율만큼 늘어납니다.

문자 수로 나눠야 하나요, 토큰 수로 나눠야 하나요?

토큰 기준 크기가 임베딩 모델과 LLM이 실제로 세는 방식과 맞습니다. 문자 기준은 더 간단하지만, 같은 문자 수라도 아랍어를 비롯해 언어에 따라 토큰 수가 크게 다를 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기