Retriever tidak bisa mengembalikan setengah dokumen. Chunking menentukan seperti apa potongan-potongannya.
Cara kerjanya
Dokumentasi LangChain menjelaskan tujuannya dengan sederhana: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (terjemahan: memecah dokumen besar menjadi chunk lebih kecil yang bisa diambil satu per satu dan muat dalam batas context window model.) Setiap chunk kemudian diubah menjadi embeddings dan disimpan di vector database, atau diindeks untuk pencarian kata kunci.
Dua angka mengendalikan sebagian besar chunker:
- Chunk size: panjang maksimum sebuah chunk, dalam karakter atau token.
- Chunk overlap: seberapa banyak teks dari akhir satu chunk diulang di awal chunk berikutnya.
Splitter juga berbeda dalam hal di mana ia memotong. LangChain merekomendasikan memulai dengan recursive splitter untuk sebagian besar kasus. Splitter ini berusaha menjaga unit besar seperti paragraf tetap utuh, lalu turun ke kalimat, kemudian kata, jika sebuah unit terlalu besar. SentenceSplitter milik LlamaIndex bekerja pada batas kalimat; dokumentasinya menampilkan contoh dengan setelan eksplisit:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Contoh hitungan: korpus 100.000 token yang dipecah menjadi chunk 500 token dengan overlap 50 token menghasilkan sekitar 222 chunk (setiap chunk baru menambah 450 token baru) dan sekitar 111.000 token untuk di-embed, 11% lebih banyak daripada tanpa overlap.
Kenapa ini penting
- Recall. Chunk yang terlalu kecil kehilangan konteks; chunk yang terlalu besar mengencerkan kecocokan dengan teks yang tidak relevan.
- Biaya LLM. Chunk yang diambil dikirim sebagai token input. Lima chunk berukuran 1.000 token menambah 5.000 token input ke setiap pertanyaan.
- Biaya indeks. Overlap dan chunk kecil sama-sama menambah jumlah vektor yang harus di-embed dan disimpan.
- Bahasa. Kata-kata Arab bisa membawa klitik dan harakat yang mengubah jumlah token dan pencocokan. Pencarian RAG bahasa Arab membahas chunking dan normalisasi untuk bahasa Arab.
Chunking hanyalah satu tuas. Menambahkan hybrid search atau reranker sering lebih membantu daripada sekadar menyetel ukuran.
Di BroadNet Inference
BroadNet tidak menyediakan endpoint embeddings, jadi Anda melakukan chunking dan embedding dengan alat Anda sendiri atau penyedia lain, lalu mengirim chunk yang diambil ke model chat BroadNet. Model konteks panjang mengubah trade-off-nya: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token, sehingga korpus kecil mungkin muat tanpa retrieval sama sekali. Konteks panjang vs RAG membandingkan keduanya.
Kalkulator chunking RAG memperkirakan jumlah chunk, ukuran indeks, dan token per kueri untuk setelan Anda, dan chunk size dan overlap RAG membahas pengujian yang sudah dipublikasikan.