Bir retriever bir belgenin yarısını döndüremez. Parçaların ne olacağına chunking karar verir.
Nasıl çalışır
LangChain belgeleri amacı basitçe anlatır: metin bölücüler “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (çeviri: büyük belgeleri, tek tek getirilebilecek ve modelin bağlam penceresi sınırına sığacak daha küçük parçalara böler.) Her parça sonra embedding’e çevrilip bir vektör veritabanında saklanır ya da anahtar kelime araması için indekslenir.
Çoğu parçalayıcıyı iki sayı yönetir:
- Chunk boyutu: bir parçanın karakter veya token cinsinden azami uzunluğu.
- Chunk örtüşmesi: bir parçanın sonundaki metnin ne kadarının bir sonrakinin başında tekrarlandığı.
Bölücüler nereden kestikleri bakımından da farklılaşır. LangChain çoğu durum için özyinelemeli (recursive) bölücüsüyle başlamayı önerir. Bu bölücü paragraflar gibi büyük birimleri bütün tutmaya çalışır; bir birim çok büyükse önce cümlelere, sonra kelimelere iner. LlamaIndex’in SentenceSplitter aracı cümle sınırlarıyla çalışır; belgeleri onu açık ayarlarla gösterir:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Bir sayı örneği: 100.000 token’lık bir derlem, 50 token örtüşmeyle 500 token’lık parçalara bölündüğünde yaklaşık 222 parça (her yeni parça 450 yeni token ekler) ve embedding’e çevrilecek yaklaşık 111.000 token verir; bu, örtüşmesiz duruma göre %11 fazladır.
Neden önemli
- Geri çağırma (recall). Çok küçük parçalar bağlamı kaybeder; çok büyük parçalar eşleşmeyi ilgisiz metinle seyreltir.
- LLM maliyeti. Getirilen parçalar girdi token’ı olarak gönderilir. 1.000 token’lık beş parça her soruya 5.000 girdi token’ı ekler.
- İndeks maliyeti. Örtüşme de küçük parçalar da embedding’e çevrilip saklanacak vektör sayısını artırır.
- Dil. Arapça kelimeler token sayılarını ve eşleşmeyi değiştiren klitikler ve harekeler taşıyabilir. Arapça RAG araması Arapça için parçalamayı ve normalizasyonu ele alır.
Parçalama yalnızca bir kaldıraçtır. Hibrit arama veya bir reranker eklemek çoğu zaman tek başına boyut ayarlamaktan daha çok işe yarar.
BroadNet Inference’ta
BroadNet bir embedding uç noktası sunmaz; bu yüzden parçalama ve embedding işini kendi araçlarınızla veya başka bir sağlayıcıyla yapar, getirilen parçaları bir BroadNet sohbet modeline gönderirsiniz. Uzun bağlamlı modeller dengeyi değiştirir: DeepSeek V4.1 Flash ve GLM 5.3 1.048.576 token kabul eder; bu yüzden küçük bir derlem hiç getirme yapmadan sığabilir. Uzun bağlam ve RAG ikisini karşılaştırır.
RAG parçalama hesaplayıcısı ayarlarınız için parça sayısını, indeks boyutunu ve sorgu başına token’ı tahmin eder; RAG chunk boyutu ve örtüşme yazısı da yayımlanmış testleri adım adım anlatır.