BroadRouter
Loslegen

Chunking (RAG)

Aktualisiert

Chunking ist der Schritt in einer Retrieval-Pipeline, der Dokumente in kleinere Stücke, sogenannte Chunks, zerlegt, bevor sie eingebettet und indexiert werden. Die Chunk-Größe legt fest, wie viel Text jedes Stück enthält, und der Chunk-Overlap wiederholt etwas Text zwischen benachbarten Chunks, damit an einer Grenze zerschnittene Gedanken nicht verloren gehen.

Auch genannt: Chunking, Textaufteilung, Dokumentaufteilung, Chunk-Größe, Chunk-Überlappung, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Ein Retriever kann kein halbes Dokument zurückgeben. Chunking entscheidet, was die Stücke sind.

So funktioniert es

Die Dokumentation von LangChain bringt den Zweck auf den Punkt: Text Splitter „break large docs into smaller chunks that will be retrievable individually and fit within model context window limit“ (Übersetzung: „zerlegen große Dokumente in kleinere Chunks, die einzeln abrufbar sind und in das Kontextfenster-Limit des Modells passen“). Jeder Chunk wird dann in Embeddings umgewandelt und in einer Vektordatenbank gespeichert oder für die Stichwortsuche indexiert.

Zwei Zahlen steuern die meisten Chunker:

  • Chunk-Größe: die maximale Länge eines Chunks, in Zeichen oder Tokens.
  • Chunk-Overlap: wie viel Text vom Ende eines Chunks am Anfang des nächsten wiederholt wird.

Splitter unterscheiden sich auch darin, wo sie schneiden. LangChain empfiehlt, in den meisten Fällen mit seinem rekursiven Splitter zu beginnen. Er versucht, größere Einheiten wie Absätze ganz zu lassen, und weicht auf Sätze und dann Wörter aus, wenn eine Einheit zu groß ist. SentenceSplitter von LlamaIndex arbeitet an Satzgrenzen; die Dokumentation zeigt ihn mit expliziten Einstellungen:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Ein Rechenbeispiel: Ein Korpus mit 100.000 Tokens, zerlegt in Chunks von 500 Tokens mit 50 Tokens Overlap, ergibt etwa 222 Chunks (jeder neue Chunk bringt 450 neue Tokens) und etwa 111.000 Tokens zum Einbetten, 11 % mehr als ohne Overlap.

Warum es wichtig ist

  • Recall. Zu kleine Chunks verlieren Kontext; zu große verwässern den Treffer mit unpassendem Text.
  • LLM-Kosten. Abgerufene Chunks werden als Input-Tokens gesendet. Fünf Chunks mit je 1.000 Tokens fügen jeder Frage 5.000 Input-Tokens hinzu.
  • Indexkosten. Overlap und kleine Chunks erhöhen beide die Zahl der Vektoren, die eingebettet und gespeichert werden müssen.
  • Sprache. Arabische Wörter können Klitika und Diakritika tragen, die Token-Zahlen und Abgleich verändern. Arabische RAG-Suche behandelt Chunking und Normalisierung für Arabisch.

Chunking ist ein Hebel unter mehreren. Hybride Suche oder ein Reranker helfen oft mehr, als nur an der Größe zu drehen.

Bei BroadNet Inference

BroadNet bietet keinen Embeddings-Endpoint an; Sie chunken und betten also mit eigenen Tools oder einem anderen Anbieter ein und senden die abgerufenen Chunks an ein Chat-Modell von BroadNet. Modelle mit langem Kontext verschieben die Abwägung: DeepSeek V4.1 Flash und GLM 5.3 nehmen 1.048.576 Tokens an, ein kleiner Korpus passt also womöglich ganz ohne Retrieval hinein. Langer Kontext vs. RAG vergleicht beides.

Der RAG-Chunking-Rechner schätzt Chunk-Zahl, Indexgröße und Tokens pro Anfrage für Ihre Einstellungen, und Chunk-Größe und Overlap bei RAG geht veröffentlichte Tests durch.

Häufige Fragen

Mit welcher Chunk-Größe sollte ich anfangen?

Den einen richtigen Wert gibt es nicht. Wählen Sie eine Startgröße, bauen Sie ein kleines Testset aus echten Fragen mit bekannten Antworten und vergleichen Sie die Trefferquoten des Retrievals bei zwei oder drei Größen. Der Beitrag zur Chunk-Größe bei RAG sammelt veröffentlichte Ergebnisse.

Macht Overlap den Index größer?

Ja. Überlappender Text wird mehr als einmal gespeichert und eingebettet; Indexgröße und Embedding-Kosten wachsen also mit dem Overlap-Anteil.

Sollte ich nach Zeichen oder nach Tokens chunken?

Token-basierte Größen entsprechen dem, was Embedding-Modell und LLM tatsächlich zählen. Zeichengrößen sind einfacher, aber dieselbe Zahl an Zeichen kann je nach Sprache, auch im Arabischen, eine sehr unterschiedliche Zahl an Tokens ergeben.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen