Retriever tidak boleh memulangkan separuh dokumen. Chunking menentukan apakah cebisannya.
Cara ia berfungsi
Dokumentasi LangChain menerangkan tujuannya dengan ringkas: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Terjemahan BroadRouter: “memecahkan dokumen besar kepada chunk lebih kecil yang boleh didapatkan semula secara individu dan muat dalam had tetingkap konteks model.”) Setiap chunk kemudian ditukar kepada embedding dan disimpan dalam pangkalan data vektor, atau diindeks untuk carian kata kunci.
Dua nombor mengawal kebanyakan chunker:
- Saiz chunk: panjang maksimum satu chunk, dalam aksara atau token.
- Overlap chunk: berapa banyak teks dari hujung satu chunk diulang di permulaan chunk seterusnya.
Splitter juga berbeza dari segi tempat ia memotong. LangChain mengesyorkan bermula dengan recursive splitter untuk kebanyakan kes. Ia cuba mengekalkan unit lebih besar seperti perenggan secara utuh, dan beralih kepada ayat, kemudian perkataan, apabila sesuatu unit terlalu besar. SentenceSplitter LlamaIndex berfungsi pada sempadan ayat; dokumentasinya menunjukkan ia dengan tetapan eksplisit:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Contoh kiraan: korpus 100,000 token yang dipecahkan kepada chunk 500 token dengan overlap 50 token menghasilkan kira-kira 222 chunk (setiap chunk baharu menambah 450 token baharu) dan kira-kira 111,000 token untuk di-embed, 11% lebih banyak berbanding tanpa overlap.
Mengapa ia penting
- Recall. Chunk yang terlalu kecil kehilangan konteks; chunk yang terlalu besar mencairkan padanan dengan teks yang tidak berkaitan.
- Kos LLM. Chunk yang didapatkan semula dihantar sebagai token input. Lima chunk 1,000 token menambah 5,000 token input pada setiap soalan.
- Kos indeks. Overlap dan chunk kecil kedua-duanya menambah bilangan vektor untuk di-embed dan disimpan.
- Bahasa. Perkataan Arab boleh membawa klitik dan baris yang mengubah kiraan token dan padanan. Carian RAG Arab merangkumi chunking dan penormalan untuk bahasa Arab.
Chunking hanyalah satu tuil. Menambah carian hibrid atau reranker selalunya lebih membantu berbanding melaraskan saiz sahaja.
Di BroadNet Inference
BroadNet tidak menawarkan endpoint embedding, jadi anda melakukan chunking dan embedding dengan alat anda sendiri atau penyedia lain, kemudian menghantar chunk yang didapatkan semula kepada model chat BroadNet. Model konteks panjang mengubah pertimbangannya: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576 token, jadi korpus kecil mungkin muat tanpa retrieval langsung. Konteks panjang vs RAG membandingkan kedua-duanya.
Kalkulator chunking RAG menganggar bilangan chunk, saiz indeks dan token setiap pertanyaan untuk tetapan anda, dan saiz chunk dan overlap RAG menerangkan ujian yang telah diterbitkan.