Ein Retriever kann kein halbes Dokument zurückgeben. Chunking entscheidet, was die Stücke sind.
So funktioniert es
Die Dokumentation von LangChain bringt den Zweck auf den Punkt: Text Splitter „break large docs into smaller chunks that will be retrievable individually and fit within model context window limit“ (Übersetzung: „zerlegen große Dokumente in kleinere Chunks, die einzeln abrufbar sind und in das Kontextfenster-Limit des Modells passen“). Jeder Chunk wird dann in Embeddings umgewandelt und in einer Vektordatenbank gespeichert oder für die Stichwortsuche indexiert.
Zwei Zahlen steuern die meisten Chunker:
- Chunk-Größe: die maximale Länge eines Chunks, in Zeichen oder Tokens.
- Chunk-Overlap: wie viel Text vom Ende eines Chunks am Anfang des nächsten wiederholt wird.
Splitter unterscheiden sich auch darin, wo sie schneiden. LangChain empfiehlt, in den meisten Fällen mit seinem rekursiven Splitter zu beginnen. Er versucht, größere Einheiten wie Absätze ganz zu lassen, und weicht auf Sätze und dann Wörter aus, wenn eine Einheit zu groß ist. SentenceSplitter von LlamaIndex arbeitet an Satzgrenzen; die Dokumentation zeigt ihn mit expliziten Einstellungen:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Ein Rechenbeispiel: Ein Korpus mit 100.000 Tokens, zerlegt in Chunks von 500 Tokens mit 50 Tokens Overlap, ergibt etwa 222 Chunks (jeder neue Chunk bringt 450 neue Tokens) und etwa 111.000 Tokens zum Einbetten, 11 % mehr als ohne Overlap.
Warum es wichtig ist
- Recall. Zu kleine Chunks verlieren Kontext; zu große verwässern den Treffer mit unpassendem Text.
- LLM-Kosten. Abgerufene Chunks werden als Input-Tokens gesendet. Fünf Chunks mit je 1.000 Tokens fügen jeder Frage 5.000 Input-Tokens hinzu.
- Indexkosten. Overlap und kleine Chunks erhöhen beide die Zahl der Vektoren, die eingebettet und gespeichert werden müssen.
- Sprache. Arabische Wörter können Klitika und Diakritika tragen, die Token-Zahlen und Abgleich verändern. Arabische RAG-Suche behandelt Chunking und Normalisierung für Arabisch.
Chunking ist ein Hebel unter mehreren. Hybride Suche oder ein Reranker helfen oft mehr, als nur an der Größe zu drehen.
Bei BroadNet Inference
BroadNet bietet keinen Embeddings-Endpoint an; Sie chunken und betten also mit eigenen Tools oder einem anderen Anbieter ein und senden die abgerufenen Chunks an ein Chat-Modell von BroadNet. Modelle mit langem Kontext verschieben die Abwägung: DeepSeek V4.1 Flash und GLM 5.3 nehmen 1.048.576 Tokens an, ein kleiner Korpus passt also womöglich ganz ohne Retrieval hinein. Langer Kontext vs. RAG vergleicht beides.
Der RAG-Chunking-Rechner schätzt Chunk-Zahl, Indexgröße und Tokens pro Anfrage für Ihre Einstellungen, und Chunk-Größe und Overlap bei RAG geht veröffentlichte Tests durch.