Un recuperador no puede devolver medio documento. El chunking decide cuáles son las piezas.
Cómo funciona
La documentación de LangChain resume el propósito con sencillez: los divisores de texto “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (traducción: dividen los documentos grandes en fragmentos más pequeños que se pueden recuperar por separado y caben dentro del límite de la ventana de contexto del modelo). Después, cada chunk se convierte en embeddings y se guarda en una base de datos vectorial, o se indexa para búsqueda por palabras clave.
Dos números controlan la mayoría de los fragmentadores:
- Tamaño del chunk: la longitud máxima de un fragmento, en caracteres o en tokens.
- Solapamiento: cuánto texto del final de un chunk se repite al inicio del siguiente.
Los divisores también difieren en dónde cortan. LangChain recomienda empezar con su divisor recursivo en la mayoría de los casos. Intenta mantener enteras las unidades más grandes, como los párrafos, y recurre a oraciones y luego a palabras cuando una unidad es demasiado grande. El SentenceSplitter de LlamaIndex trabaja sobre límites de oración; su documentación lo muestra con ajustes explícitos:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Un cálculo de ejemplo: un corpus de 100,000 tokens dividido en chunks de 500 tokens con 50 de solapamiento da unos 222 fragmentos (cada chunk nuevo aporta 450 tokens nuevos) y unos 111,000 tokens para convertir en embeddings, un 11 % más que sin solapamiento.
Por qué importa
- Recall. Los chunks demasiado pequeños pierden contexto; los demasiado grandes diluyen la coincidencia con texto no relacionado.
- Costo del LLM. Los fragmentos recuperados se envían como tokens de entrada. Cinco chunks de 1,000 tokens añaden 5,000 tokens de entrada a cada pregunta.
- Costo del índice. El solapamiento y los chunks pequeños aumentan la cantidad de vectores que hay que generar y almacenar.
- Idioma. Las palabras árabes pueden llevar clíticos y diacríticos que cambian el conteo de tokens y las coincidencias. Búsqueda RAG en árabe cubre el chunking y la normalización para el árabe.
El chunking es solo una palanca. Añadir búsqueda híbrida o un reranker suele ayudar más que ajustar solo el tamaño.
En BroadNet Inference
BroadNet no ofrece un endpoint de embeddings, así que usted fragmenta y genera los embeddings con sus propias herramientas o con otro proveedor, y envía los chunks recuperados a un modelo de chat de BroadNet. Los modelos de contexto largo cambian el equilibrio: DeepSeek V4.1 Flash y GLM 5.3 aceptan 1,048,576 tokens, así que un corpus pequeño puede caber sin ninguna recuperación. Contexto largo vs. RAG compara ambas opciones.
La calculadora de chunking para RAG estima el número de fragmentos, el tamaño del índice y los tokens por consulta según sus ajustes, y tamaño de chunk y solapamiento en RAG recorre las pruebas publicadas.