Un retriever ne peut pas renvoyer un demi-document. Le chunking décide de ce que sont les morceaux.
Comment ça marche
La documentation de LangChain résume simplement l’objectif : les text splitters « break large docs into smaller chunks that will be retrievable individually and fit within model context window limit » (traduction : « découpent les gros documents en chunks plus petits, récupérables individuellement et qui tiennent dans la limite de la fenêtre de contexte du modèle »). Chaque chunk est ensuite converti en embeddings et stocké dans une base de données vectorielle, ou indexé pour la recherche par mots-clés.
Deux nombres pilotent la plupart des découpeurs :
- Taille de chunk : la longueur maximale d’un chunk, en caractères ou en tokens.
- Chevauchement : la quantité de texte de la fin d’un chunk répétée au début du suivant.
Les splitters diffèrent aussi par l’endroit où ils coupent. LangChain recommande de commencer par son splitter récursif dans la plupart des cas. Il essaie de garder entières les grandes unités comme les paragraphes, et se rabat sur les phrases, puis les mots, quand une unité est trop grande. Le SentenceSplitter de LlamaIndex travaille sur les frontières de phrases ; sa documentation le montre avec des réglages explicites :
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Un exemple chiffré : un corpus de 100 000 tokens découpé en chunks de 500 tokens avec 50 tokens de chevauchement donne environ 222 chunks (chaque nouveau chunk ajoute 450 tokens nouveaux) et environ 111 000 tokens à vectoriser, soit 11 % de plus que sans chevauchement.
Pourquoi c’est important
- Rappel. Des chunks trop petits perdent le contexte ; des chunks trop gros diluent la correspondance avec du texte sans rapport.
- Coût LLM. Les chunks récupérés sont envoyés comme tokens d’entrée. Cinq chunks de 1 000 tokens ajoutent 5 000 tokens d’entrée à chaque question.
- Coût de l’index. Le chevauchement et les petits chunks augmentent tous deux le nombre de vecteurs à calculer et à stocker.
- Langue. Les mots arabes peuvent porter des clitiques et des diacritiques qui modifient le décompte des tokens et la correspondance. La recherche RAG en arabe traite du chunking et de la normalisation pour l’arabe.
Le chunking n’est qu’un levier. Ajouter une recherche hybride ou un reranker aide souvent davantage que d’ajuster la seule taille.
Sur BroadNet Inference
BroadNet ne propose pas d’endpoint d’embeddings : vous découpez et vectorisez avec vos propres outils ou un autre fournisseur, puis envoyez les chunks récupérés à un modèle de chat de BroadNet. Les modèles à long contexte changent l’arbitrage : DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens, si bien qu’un petit corpus peut tenir sans aucune récupération. Long contexte ou RAG compare les deux.
Le calculateur de chunking RAG estime le nombre de chunks, la taille de l’index et les tokens par requête pour vos réglages, et taille et chevauchement des chunks en RAG passe en revue les tests publiés.