BroadRouter
Başlayın

Parçalama (chunking, RAG)

Güncellendi

Parçalama (chunking), bir getirme (retrieval) işlem hattında belgeleri embedding'e çevrilip indekslenmeden önce chunk denen küçük parçalara bölen adımdır. Chunk boyutu her parçanın ne kadar metin tuttuğunu belirler; chunk örtüşmesi ise sınırda kesilen fikirler kaybolmasın diye komşu parçalar arasında bir miktar metni tekrarlar.

Diğer adları: chunking, parçalama, metin parçalama, belge parçalama, chunk boyutu, chunk örtüşmesi, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Bir retriever bir belgenin yarısını döndüremez. Parçaların ne olacağına chunking karar verir.

Nasıl çalışır

LangChain belgeleri amacı basitçe anlatır: metin bölücüler “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (çeviri: büyük belgeleri, tek tek getirilebilecek ve modelin bağlam penceresi sınırına sığacak daha küçük parçalara böler.) Her parça sonra embedding’e çevrilip bir vektör veritabanında saklanır ya da anahtar kelime araması için indekslenir.

Çoğu parçalayıcıyı iki sayı yönetir:

  • Chunk boyutu: bir parçanın karakter veya token cinsinden azami uzunluğu.
  • Chunk örtüşmesi: bir parçanın sonundaki metnin ne kadarının bir sonrakinin başında tekrarlandığı.

Bölücüler nereden kestikleri bakımından da farklılaşır. LangChain çoğu durum için özyinelemeli (recursive) bölücüsüyle başlamayı önerir. Bu bölücü paragraflar gibi büyük birimleri bütün tutmaya çalışır; bir birim çok büyükse önce cümlelere, sonra kelimelere iner. LlamaIndex’in SentenceSplitter aracı cümle sınırlarıyla çalışır; belgeleri onu açık ayarlarla gösterir:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Bir sayı örneği: 100.000 token’lık bir derlem, 50 token örtüşmeyle 500 token’lık parçalara bölündüğünde yaklaşık 222 parça (her yeni parça 450 yeni token ekler) ve embedding’e çevrilecek yaklaşık 111.000 token verir; bu, örtüşmesiz duruma göre %11 fazladır.

Neden önemli

  • Geri çağırma (recall). Çok küçük parçalar bağlamı kaybeder; çok büyük parçalar eşleşmeyi ilgisiz metinle seyreltir.
  • LLM maliyeti. Getirilen parçalar girdi token’ı olarak gönderilir. 1.000 token’lık beş parça her soruya 5.000 girdi token’ı ekler.
  • İndeks maliyeti. Örtüşme de küçük parçalar da embedding’e çevrilip saklanacak vektör sayısını artırır.
  • Dil. Arapça kelimeler token sayılarını ve eşleşmeyi değiştiren klitikler ve harekeler taşıyabilir. Arapça RAG araması Arapça için parçalamayı ve normalizasyonu ele alır.

Parçalama yalnızca bir kaldıraçtır. Hibrit arama veya bir reranker eklemek çoğu zaman tek başına boyut ayarlamaktan daha çok işe yarar.

BroadNet Inference’ta

BroadNet bir embedding uç noktası sunmaz; bu yüzden parçalama ve embedding işini kendi araçlarınızla veya başka bir sağlayıcıyla yapar, getirilen parçaları bir BroadNet sohbet modeline gönderirsiniz. Uzun bağlamlı modeller dengeyi değiştirir: DeepSeek V4.1 Flash ve GLM 5.3 1.048.576 token kabul eder; bu yüzden küçük bir derlem hiç getirme yapmadan sığabilir. Uzun bağlam ve RAG ikisini karşılaştırır.

RAG parçalama hesaplayıcısı ayarlarınız için parça sayısını, indeks boyutunu ve sorgu başına token’ı tahmin eder; RAG chunk boyutu ve örtüşme yazısı da yayımlanmış testleri adım adım anlatır.

Sık sorulan sorular

Hangi chunk boyutuyla başlamalıyım?

Tek bir doğru değer yok. Bir başlangıç boyutu seçin, cevabı bilinen gerçek sorulardan küçük bir test seti kurun ve iki üç boyutta getirme isabet oranlarını karşılaştırın. RAG chunk boyutu yazısı yayımlanmış sonuçları toplar.

Örtüşme indeksi büyütür mü?

Evet. Örtüşen metin birden fazla kez saklanır ve embedding'e çevrilir; bu yüzden indeks boyutu ve embedding maliyeti örtüşme oranıyla birlikte artar.

Karaktere göre mi, token'a göre mi parçalamalıyım?

Token tabanlı boyutlar, embedding modelinin ve LLM'in gerçekte saydığıyla örtüşür. Karakter boyutları daha basittir, ama aynı sayıda karakter Arapça dahil farklı dillerde çok farklı sayıda token edebilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor