Um retriever não consegue devolver meio documento. O chunking decide quais são os pedaços.
Como funciona
A documentação do LangChain resume o propósito de forma simples: os text splitters “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (tradução: quebram documentos grandes em chunks menores, que podem ser recuperados individualmente e cabem no limite da janela de contexto do modelo.) Cada chunk é então transformado em embeddings e guardado em um banco de dados vetorial, ou indexado para busca por palavra-chave.
Dois números controlam a maioria dos chunkers:
- Chunk size: o tamanho máximo de um chunk, em caracteres ou tokens.
- Chunk overlap: quanto texto do fim de um chunk se repete no início do seguinte.
Os splitters também diferem em onde cortam. O LangChain recomenda começar pelo splitter recursivo na maioria dos casos. Ele tenta manter inteiras as unidades maiores, como parágrafos, e recorre a frases e depois a palavras quando uma unidade é grande demais. O SentenceSplitter do LlamaIndex trabalha com limites de frase; a documentação o mostra com configurações explícitas:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Um cálculo de exemplo: um corpus de 100.000 tokens dividido em chunks de 500 tokens com 50 tokens de overlap gera cerca de 222 chunks (cada chunk novo acrescenta 450 tokens novos) e cerca de 111.000 tokens para gerar embeddings, 11% a mais do que sem overlap.
Por que isso importa
- Recall. Chunks pequenos demais perdem contexto; chunks grandes demais diluem a correspondência com texto que não tem relação.
- Custo do LLM. Os chunks recuperados são enviados como tokens de entrada. Cinco chunks de 1.000 tokens somam 5.000 tokens de entrada a cada pergunta.
- Custo do índice. Tanto o overlap quanto chunks pequenos aumentam o número de vetores a gerar e armazenar.
- Idioma. Palavras em árabe podem carregar clíticos e diacríticos que mudam a contagem de tokens e as correspondências. Busca RAG em árabe cobre chunking e normalização para o árabe.
O chunking é uma das alavancas. Adicionar busca híbrida ou um reranker muitas vezes ajuda mais do que só ajustar o tamanho.
Na BroadNet Inference
A BroadNet não oferece endpoint de embeddings, então você faz o chunking e os embeddings com as suas ferramentas ou com outro provedor, e envia os chunks recuperados para um modelo de chat da BroadNet. Modelos de contexto longo mudam a conta: o DeepSeek V4.1 Flash e o GLM 5.3 aceitam 1.048.576 tokens, então um corpus pequeno pode caber sem recuperação nenhuma. Contexto longo vs. RAG compara as duas abordagens.
A calculadora de chunking para RAG estima o número de chunks, o tamanho do índice e os tokens por consulta com as suas configurações, e chunk size e overlap em RAG percorre os testes publicados.