Parça (chunk) boyutu ve örtüşme (overlap), her RAG hattının erkenden belirleyip nadiren yeniden ele aldığı iki sayıdır. Kaç vektör sakladığınızı, kaç token’ın embedding’ini çıkardığınızı, her sorunun LLM’e kaç token gönderdiğini ve doğru pasajın bulunup bulunmadığını bunlar belirler. Bu yazı yayımlanmış testlerin ne bulduğunu gösteriyor, ardından token hesabını adım adım yapıyor; böylece hiçbir şeyin embedding’ini çıkarmadan önce her ayarın maliyetini görebilirsiniz.
RAG kullanıp kullanmayacağınıza hâlâ karar veriyorsanız uzun bağlam mı RAG mı yazısıyla başlayın. Arapça belgeler için bu yazıyla birlikte Arapça RAG ve Arapça metin normalleştirme yazılarını okuyun.
Parça boyutu ve örtüşme neyi değiştirir?
- Parça boyutu, embedding’ini çıkardığınız ve getirdiğiniz her parçaya kaç token girdiğidir.
- Örtüşme, ardışık parçaların kaç token paylaştığıdır; böylece bir sınırda kesilen bir cümle en az bir parçada bütün olarak yer alır.
- Top-k, soru başına kaç parça getirdiğinizdir.
Bunlar birlikte dört şeyi belirler:
| Nicelik | Formül (uzun belgeler) |
|---|---|
| Saklanan parça | derlem token’ı ÷ (boyut − örtüşme) |
| Embedding’i çıkarılan token | derlem token’ı × boyut ÷ (boyut − örtüşme) |
| Sorgu başına bağlam | top-k × boyut |
| Sorgu başına LLM girdisi | top-k × boyut + sistem istemi + soru |
İlk ikisi her indeksleme çalıştırmasında bir kez, her yeniden parçalamada tekrar ödenir. Sonuncusu ise her soruda, sonsuza kadar ödenir.
Yayımlanmış testler parça boyutu hakkında ne diyor?
Bilmeye değer iki herkese açık değerlendirme var, çünkü farklı şeyleri ölçtüler.
Chroma (Smith ve Troynikov, Temmuz 2024) getirmeyi token düzeyinde ölçtü: ilgili metnin ne kadarının getirildiği (isabet/recall) ve getirilenin ne kadarının ilgili olduğu. Getirilen beş parça ve OpenAI’nin text-embedding-3-large modeli kullanıldı. Seçilmiş satırlar:
| Bölücü | Boyut (token) | Örtüşme | İsabet (recall) | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | %85,4 | %1,5 |
| Token | 800 | 400 | %87,9 | %1,4 |
| Recursive | 400 | 200 | %88,1 | %3,3 |
| Recursive | 400 | 0 | %89,5 | %3,6 |
| Recursive | 200 | 0 | %88,1 | %6,9 |
IoU (intersection over union, kesişim/birleşim oranı), getirilen metnin ne kadarının ilgili olduğunu ölçer; dolayısıyla boşa giden token’ların da bir ölçüsüdür. 800/400 satırları OpenAI’nin file search varsayılanıyla eşleşiyor; token bölücü varsayıldığında Chroma bu ayarın ortalamanın biraz altında isabet ve diğer metriklerde en düşük puanları verdiğini buldu. Örtüşmesiz daha küçük parçalar aynı veya daha fazla isabet sağladı ve çok daha az ilgisiz metin taşıdı.
NVIDIA (Haziran 2025), uçtan uca yanıt doğruluğunu beş veri setinde, %15 örtüşmeli 128 ile 2.048 token arası token parçalarıyla ve ayrıca sayfa ve bölüm düzeyinde parçalamayla ölçtü. Sayfa düzeyinde parçalama en yüksek ortalama doğruluğa (0,648) ve en düşük varyansa sahipti. En iyi token boyutu sorulara bağlıydı: olgusal setler 256 ile 512 token’ı, analitik setler 1.024 token’ı veya tam sayfaları tercih etti. İki uç, 128 ve 2.048, genellikle daha kötü sonuç verdi.
İkisi bir konuda hemfikir: evrensel bir en iyi boyut yok ve yoğun örtüşmeli çok büyük parçalar nadiren doğru varsayılandır.
Örtüşme indeksi ne kadar şişirir?
Her parça boyut − örtüşme kadar token ilerler; bu yüzden indeks derlemin boyut ÷ (boyut − örtüşme) kopyasını tutar. 10.000 token’lık belgelerden oluşan 2.000.000 token’lık bir derlem için:
| Boyut | Örtüşme | Parça | Embedding’i çıkarılan token | Şişme |
|---|---|---|---|---|
| 200 | 0 | 10.000 | 2.000.000 | 1,00× |
| 400 | 0 | 5.000 | 2.000.000 | 1,00× |
| 512 | 77 (%15) | 4.600 | 2.338.800 | 1,17× |
| 1.024 | 154 (%15) | 2.400 | 2.338.800 | 1,17× |
| 800 | 400 (%50) | 4.800 | 3.840.000 | 1,92× |
| 400 | 200 (%50) | 9.800 | 3.920.000 | 1,96× |
Kısa belgeler biraz daha az şişer, çünkü her birinin son parçası eksiktir. Formül üst sınırı verir: embedding token’ı, vektör depolama ve yeniden indeksleme süresi açısından %15 örtüşme yaklaşık %18, %50 örtüşme ise yaklaşık %100 daha fazla maliyet demektir.
Örtüşmenin sorgu anında da bir maliyeti vardır. %50 örtüşmede, aynı soru için getirilen iki komşu parça metinlerinin yarısını tekrarlar. Bu yinelenen token’lar için ödeme yaparsınız ve bunlar diğer ilgili pasajları top-k’nin dışına iter.
BroadNet embedding satmıyor; bu yüzden faturanın bu kısmı embedding sağlayıcınıza gider. Fiyatını embedding maliyet hesaplayıcısı ile çıkarın.
Parça boyutu LLM faturasını nasıl etkiler?
Her soru top-k parçayı ve istemi gönderir. Ayda 100.000 soru, 600 token’lık sistem istemi ve soru, her seferinde aynı 300 token’lık yanıt varsayalım:
| Boyut × top-k | Sorgu başına bağlam | Sorgu başına girdi | Aylık girdi |
|---|---|---|---|
| 200 × 10 | 2.000 | 2.600 | 260 milyon |
| 400 × 5 | 2.000 | 2.600 | 260 milyon |
| 512 × 5 | 2.560 | 3.160 | 316 milyon |
| 800 × 5 | 4.000 | 4.600 | 460 milyon |
| 1.024 × 5 | 5.120 | 5.720 | 572 milyon |
| 1.024 × 8 | 8.192 | 8.792 | 879 milyon |
Her satırda çıktı ayda 30 milyon token’dır; yalnızca girdi değişir. 1M token başına bir fiyatla aylık girdi maliyeti, son sütundaki milyon sayısının o fiyatla çarpımıdır. 1M girdi token’ı başına $0.10 fiyatlı Gemma 4 VL 26B modelinde 1.024 × 8 kurulumu, 400 × 5 için 260 × $0.10 tutarına karşılık ayda 879 × $0.10 girdi maliyeti çıkarır. Bu, yayımlanmış testlerin daha iyi isabet sağladığını göstermediği bir ayar için 3,4 kat fazlasıdır. Qwen3.8 27B ($0.175 girdi) veya GLM 5.3 ($0.78 girdi) modellerinde oran aynıdır, toplamlar daha büyüktür.
Bunu model fiyatından daha fazla etkileyen iki kaldıraç var:
- Boyutu artırdığınızda k’yi düşürün. 200 × 10 ve 400 × 5 aynı bağlamı gönderir. Boyutları test ederken sorgu başına bağlamı kabaca sabit tutun; böylece bağlam bütçesini değil, getirme kalitesini karşılaştırırsınız.
- Sabit kısmı önbelleğe alın. Sistem istemini başa koyun ve bayt bayt aynı tutun; böylece önbellek ücreti olan modellerde önbellekli girdi ücretiyle faturalandırılabilir. Getirilen parçalar soruya göre değişir ve nadiren önbelleğe alınır.
Bağlam sınırları da önemlidir. Gemma 4 VL 26B istek başına 32.768 token kabul eder; bu, yukarıdaki her satır için fazlasıyla yeterli. k × boyut değerini on binlerce token’a doğru zorlarsanız RAG’den uzun bağlama doğru kaymış olursunuz ve bu karşılaştırmanın kendi hesabı vardır. RAG parçalama hesaplayıcısı bu formülleri kendi derleminiz, parça boyutunuz, örtüşmeniz ve top-k değerinizle çalıştırır.
Kelimeleri kesmeden token’a göre nasıl parçalanır?
Token’la sayın ama yapıdan kesin. LangChain’in RecursiveCharacterTextSplitter’ı boyutu length_function ile ölçer ve bu varsayılan olarak karakter uzunluğudur. Bu durumda 512 “boyut” 512 karakter, yani kabaca 100 ile 150 token İngilizce eder; Arapça için ise yine farklı bir sayıdır; bkz. Arapçada kelime başına token. Embedding sınırları ve LLM faturaları token cinsindendir.
Aşağıdaki parçalayıcı, tam paragrafları bir token bütçesine kadar paketler ve sondaki paragrafları örtüşme olarak bir sonraki parçaya taşır. Paragraf sınırlarından kesmek, ham token pencerelerinin yapabileceği gibi kelimeleri veya çok baytlı Arapça karakterleri bölmeyi önler.
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
Buradaki örtüşme “en fazla” anlamındadır: örtüşme bütçesinden uzun bir paragraf tekrarlanmaz. size değerinden uzun tek bir paragraf bütün kalır; belgelerinizde böyle paragraflar varsa önce cümlelerden bölün. Her parçanın başına belge başlığını ve bölüm başlığını ekleyin; böylece getirilen bir parça neyle ilgili olduğunu yine söyler. Bu, parça başına birkaç token ekler ve çoğu zaman örtüşmeden daha çok işe yarar.
Kendi verileriniz için sayıları nasıl seçersiniz?
- Bir değerlendirme seti oluşturun. Her biri kendisini yanıtlayan pasajla eşleştirilmiş 50 ile 200 gerçek soru. Puanlamayı LLM değerlendirme rehberi ele alıyor.
- Bağlam bütçesini sabitleyin. Boyutları karşılaştırırken k × boyut değerini 2.000 token gibi tek bir değere yakın tutun.
- Üç boyut ve iki örtüşme deneyin. Örneğin 256, 512 ve 1.024 token, her biri %0 ve %15 örtüşmeyle. k’de doğru pasajın isabetini ölçün.
- Yapıyı deneyin. Belgelerinizde sayfalar veya numaralı bölümler varsa, sayfa ya da bölüm düzeyinde parçaları token boyutlarına karşı test edin. NVIDIA sayfa düzeyini en tutarlı buldu.
- En iyi isabete bir iki puan yakın olan en ucuz ayarı seçin, ardından sorgu hacminize göre aylık maliyet yöntemiyle fiyatlandırın.
Bunu tüm derlemin embedding’ini çıkarmadan önce bir örnek üzerinde yapın. Parçalamayı sonradan değiştirmek her şeyin embedding’ini yeniden çıkarmak demektir.
BroadNet Inference’ın yeri
BroadNet Inference, RAG’in getirme adımına değil, yanıt adımına hizmet eder. Embedding veya vektör depolama satmaz; bu yüzden onu seçtiğiniz bir embedding sağlayıcısı ve vektör veritabanıyla eşleştirin. Yanıt için Gemma 4 VL 26B düşük maliyetli seçenektir ve $5 başlangıç kredisiyle çalışır. Qwen3.8 27B (262.144 token bağlam) ve GLM 5.3 (1.048.576), bakiye yüklemesinden sonra daha büyük top-k değerlerine veya uzun belgelere uygundur. İstemler ve getirilen pasajlar istekten sonra saklanmaz. Derleminiz bağlam penceresine sığacak kadar küçük ve sabitse, uzun bağlam parçalamayı tamamen geride bırakabilir.
