Un retriever non può restituire mezzo documento. Il chunking decide quali sono i pezzi.
Come funziona
La documentazione di LangChain ne riassume lo scopo in modo semplice: i text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (traduzione: spezzano documenti grandi in chunk più piccoli, recuperabili singolarmente e che stanno nel limite della finestra di contesto del modello.) Ogni chunk viene poi trasformato in embedding e salvato in un database vettoriale, oppure indicizzato per la ricerca per parole chiave.
Due numeri controllano la maggior parte dei chunker:
- Chunk size: la lunghezza massima di un chunk, in caratteri o in token.
- Chunk overlap: quanto testo della fine di un chunk viene ripetuto all’inizio del successivo.
Gli splitter si distinguono anche per dove tagliano. LangChain consiglia di partire dal suo splitter ricorsivo nella maggior parte dei casi. Cerca di tenere interi i blocchi più grandi, come i paragrafi, e ripiega su frasi e poi parole quando un blocco è troppo grande. Il SentenceSplitter di LlamaIndex lavora sui confini di frase; la sua documentazione lo mostra con impostazioni esplicite:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Un calcolo di esempio: un corpus di 100.000 token diviso in chunk da 500 token con 50 token di overlap dà circa 222 chunk (ogni nuovo chunk aggiunge 450 token nuovi) e circa 111.000 token da trasformare in embedding, l’11% in più rispetto a nessun overlap.
Perché è importante
- Recall. Chunk troppo piccoli perdono contesto; chunk troppo grandi diluiscono la corrispondenza con testo non pertinente.
- Costo dell’LLM. I chunk recuperati vengono inviati come token di input. Cinque chunk da 1.000 token aggiungono 5.000 token di input a ogni domanda.
- Costo dell’indice. Sia l’overlap sia i chunk piccoli aumentano il numero di vettori da calcolare e salvare.
- Lingua. Le parole arabe possono portare clitici e diacritici che cambiano il numero di token e le corrispondenze. Ricerca RAG in arabo tratta chunking e normalizzazione per l’arabo.
Il chunking è una delle leve. Aggiungere la ricerca ibrida o un reranker spesso aiuta più che regolare solo la dimensione.
Su BroadNet Inference
BroadNet non offre un endpoint per gli embedding, quindi chunking ed embedding li fai con i tuoi strumenti o con un altro provider, e invii i chunk recuperati a un modello di chat di BroadNet. I modelli a contesto lungo cambiano il compromesso: DeepSeek V4.1 Flash e GLM 5.3 accettano 1.048.576 token, quindi un corpus piccolo può starci senza alcun retrieval. Contesto lungo o RAG confronta le due strade.
Il calcolatore di chunking per la RAG stima numero di chunk, dimensione dell’indice e token per query con le tue impostazioni, e chunk size e overlap nella RAG passa in rassegna i test pubblicati.