BroadRouter

Saiz chunk dan overlap RAG: kesannya pada retrieval dan kos

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Mulakan dengan chunk kira-kira 256 hingga 512 token, overlap 0 hingga 15%, dan top-k yang ditala pada pertanyaan anda sendiri. Chunk yang lebih besar menaikkan token yang dihantar setiap pertanyaan kepada LLM. Overlap mendarabkan token yang dibenamkan dan disimpan sebanyak saiz ÷ (saiz − overlap), jadi overlap 50% menggandakan indeks. Ujian yang diterbitkan mendapati chunk kecil atau tanpa overlap selalunya mempunyai recall yang sama baik atau lebih baik.

Saiz chunk dan overlap ialah dua angka yang ditetapkan awal oleh setiap saluran RAG dan jarang disemak semula. Kedua-duanya menentukan berapa banyak vektor yang anda simpan, berapa banyak token yang anda benamkan, berapa banyak token yang dihantar setiap soalan kepada LLM, dan sama ada petikan yang betul ditemui sama sekali. Artikel ini menunjukkan dapatan ujian yang diterbitkan, kemudian mengira matematik token supaya anda dapat melihat kos setiap tetapan sebelum membenamkan apa-apa.

Jika anda masih memutuskan sama ada mahu menggunakan RAG, mulakan dengan konteks panjang vs RAG. Untuk dokumen Arab, baca RAG bahasa Arab dan normalisasi teks Arab bersama artikel ini.

Apakah yang diubah oleh saiz chunk dan overlap?

  • Saiz chunk ialah bilangan token dalam setiap kepingan yang anda benamkan dan dapatkan semula.
  • Overlap ialah bilangan token yang dikongsi oleh chunk berturutan, supaya ayat yang terpotong di sempadan muncul secara utuh dalam sekurang-kurangnya satu chunk.
  • Top-k ialah bilangan chunk yang anda dapatkan semula bagi setiap soalan.

Bersama-sama, ketiga-tiganya menentukan empat perkara:

Kuantiti Formula (dokumen panjang)
Chunk yang disimpan token korpus ÷ (saiz − overlap)
Token yang dibenamkan token korpus × saiz ÷ (saiz − overlap)
Konteks setiap pertanyaan top-k × saiz
Input LLM setiap pertanyaan top-k × saiz + system prompt + soalan

Dua yang pertama dibayar sekali bagi setiap larian pengindeksan, dan sekali lagi setiap kali anda memotong semula. Yang terakhir dibayar pada setiap soalan, selama-lamanya.

Apakah kata ujian yang diterbitkan tentang saiz chunk?

Dua penilaian awam patut diketahui, kerana masing-masing mengukur perkara berbeza.

Chroma (Smith dan Troynikov, Julai 2024) mengukur pendapatan semula pada peringkat token: berapa banyak teks relevan yang didapatkan semula (recall), dan berapa banyak daripada yang didapatkan semula adalah relevan. Ia menggunakan lima chunk yang didapatkan semula dan text-embedding-3-large OpenAI. Baris terpilih:

Pemecah Saiz (token) Overlap Recall IoU
Recursive 800 400 85.4% 1.5%
Token 800 400 87.9% 1.4%
Recursive 400 200 88.1% 3.3%
Recursive 400 0 89.5% 3.6%
Recursive 200 0 88.1% 6.9%

IoU (intersection over union) mengukur berapa banyak teks yang didapatkan semula adalah relevan, jadi ia juga menjadi ukuran token yang terbazir. Baris 800/400 sepadan dengan tetapan lalai OpenAI untuk file search; dengan andaian pemecah token, Chroma mendapati tetapan itu memberi recall sedikit di bawah purata dan skor terendah pada metrik lain. Chunk yang lebih kecil tanpa overlap mempunyai recall yang sama atau lebih tinggi dan membawa jauh lebih sedikit teks tidak relevan.

NVIDIA (Jun 2025) mengukur ketepatan jawapan hujung ke hujung pada lima set data, dengan chunk token 128 hingga 2,048 pada overlap 15%, serta chunking peringkat halaman dan peringkat seksyen. Chunking peringkat halaman mempunyai ketepatan purata tertinggi (0.648) dan varians terendah. Saiz token terbaik bergantung pada soalan: set faktoid memihak kepada 256 hingga 512 token, set analitikal kepada 1,024 token atau halaman penuh. Kedua-dua hujung ekstrem, 128 dan 2,048, biasanya lebih teruk.

Kedua-duanya bersetuju tentang satu perkara: tiada saiz terbaik yang universal, dan chunk yang sangat besar dengan overlap yang berat jarang menjadi tetapan lalai yang betul.

Berapa banyak overlap membesarkan indeks?

Setiap chunk maju sebanyak saiz − overlap token, jadi indeks memegang saiz ÷ (saiz − overlap) salinan korpus. Untuk korpus 2,000,000 token yang terdiri daripada dokumen 10,000 token:

Saiz Overlap Chunk Token dibenamkan Pembesaran
200 0 10,000 2,000,000 1.00×
400 0 5,000 2,000,000 1.00×
512 77 (15%) 4,600 2,338,800 1.17×
1,024 154 (15%) 2,400 2,338,800 1.17×
800 400 (50%) 4,800 3,840,000 1.92×
400 200 (50%) 9,800 3,920,000 1.96×

Dokumen pendek membesar sedikit kurang, kerana chunk terakhir setiap dokumen tidak penuh. Formula memberi hadnya: overlap 15% menambah kos kira-kira 18%, dan 50% menambah kira-kira 100%, dalam token embedding, storan vektor dan masa pengindeksan semula.

Overlap juga ada kosnya pada masa pertanyaan. Dengan overlap 50%, dua chunk bersebelahan yang didapatkan semula untuk soalan yang sama mengulang separuh teksnya. Anda membayar untuk token pendua itu, dan ia menolak petikan relevan lain keluar daripada top-k.

BroadNet tidak menjual embeddings, jadi bahagian bil ini pergi kepada penyedia embedding anda. Kira harganya dengan kalkulator kos embedding.

Apakah kesan saiz chunk pada bil LLM?

Setiap soalan menghantar top-k chunk ditambah prompt. Ambil 100,000 soalan sebulan, 600 token system prompt dan soalan, dan jawapan 300 token yang sama setiap kali:

Saiz × top-k Konteks setiap pertanyaan Input setiap pertanyaan Input sebulan
200 × 10 2,000 2,600 260 juta
400 × 5 2,000 2,600 260 juta
512 × 5 2,560 3,160 316 juta
800 × 5 4,000 4,600 460 juta
1,024 × 5 5,120 5,720 572 juta
1,024 × 8 8,192 8,792 879 juta

Output ialah 30 juta token sebulan dalam setiap baris, jadi hanya input yang berubah. Pada harga setiap 1M token, kos input bulanan ialah angka juta dalam lajur terakhir didarab dengan harga itu. Pada Gemma 4 VL 26B pada $0.10 setiap 1M token input, susunan 1,024 × 8 berharga 879 × $0.10 sebulan untuk input berbanding 260 × $0.10 untuk 400 × 5. Itu 3.4 kali ganda, untuk tetapan yang tidak ditunjukkan oleh ujian yang diterbitkan sebagai mempunyai recall lebih baik. Pada Qwen3.8 27B (input $0.175) atau GLM 5.3 (input $0.78), nisbahnya sama dan jumlahnya lebih besar.

Dua tuil menggerakkan angka ini lebih banyak daripada harga model:

  1. Rendahkan k apabila menaikkan saiz. 200 × 10 dan 400 × 5 menghantar konteks yang sama. Kekalkan konteks setiap pertanyaan lebih kurang tetap semasa menguji saiz, supaya anda membandingkan kualiti pendapatan semula, bukan bajet konteks.
  2. Cache bahagian yang tetap. Letakkan system prompt dahulu dan kekalkannya sama byte demi byte, supaya ia boleh dibilkan pada kadar input cache pada model yang mempunyainya. Chunk yang didapatkan semula berubah setiap soalan dan jarang dicache.

Had konteks juga penting. Gemma 4 VL 26B menerima 32,768 token setiap permintaan, lebih daripada cukup untuk mana-mana baris di atas. Jika anda menolak k × saiz ke arah puluhan ribu token, anda telah beralih daripada RAG ke arah konteks panjang, dan perbandingan itu mempunyai matematiknya sendiri. Kalkulator chunking RAG menjalankan formula ini untuk korpus, saiz chunk, overlap dan top-k anda sendiri.

Bagaimanakah cara memotong mengikut token tanpa memotong perkataan?

Kira dalam token, tetapi potong pada struktur. RecursiveCharacterTextSplitter LangChain mengukur saiz dengan length_function-nya, yang secara lalai ialah panjang aksara. Maka “saiz” 512 ialah 512 aksara, kira-kira 100 hingga 150 token bahasa Inggeris, dan angka yang berbeza lagi untuk bahasa Arab; lihat token setiap perkataan dalam bahasa Arab. Had embedding dan bil LLM adalah dalam token.

Pemotong ini mengisi perenggan penuh sehingga bajet token dan membawa perenggan di hujung ke hadapan sebagai overlap. Memotong pada sempadan perenggan mengelakkan pemisahan perkataan atau aksara Arab berbilang bait, yang boleh berlaku dengan tetingkap token mentah.

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

Overlap di sini bermaksud “sehingga”: perenggan yang lebih panjang daripada bajet overlap tidak diulang. Satu perenggan yang lebih panjang daripada size kekal utuh; pecahkan perenggan sebegini mengikut ayat dahulu jika dokumen anda mempunyainya. Tambah awalan pada setiap chunk dengan tajuk dokumen dan tajuk seksyennya, supaya chunk yang didapatkan semula masih menyatakan topiknya. Ini menambah beberapa token setiap chunk dan selalunya lebih membantu daripada overlap.

Bagaimanakah cara memilih angka untuk data anda?

  1. Bina set penilaian. 50 hingga 200 soalan sebenar, setiap satu dengan petikan yang menjawabnya. Panduan penilaian LLM merangkumi pemarkahan.
  2. Tetapkan bajet konteks. Kekalkan k × saiz hampir satu nilai, seperti 2,000 token, semasa membandingkan saiz.
  3. Cuba tiga saiz dan dua overlap. Contohnya 256, 512 dan 1,024 token, setiap satu pada overlap 0 dan 15%. Ukur recall petikan yang betul pada k.
  4. Cuba struktur. Jika dokumen anda mempunyai halaman atau seksyen bernombor, uji chunk peringkat halaman atau peringkat seksyen berbanding saiz token. NVIDIA mendapati peringkat halaman paling konsisten.
  5. Pilih tetapan termurah yang berada dalam satu atau dua mata daripada recall terbaik, kemudian kira harganya pada jumlah pertanyaan anda dengan kaedah kos bulanan.

Lakukan ini pada sampel sebelum membenamkan keseluruhan korpus. Menukar chunking kemudian bermakna membenamkan semula segala-galanya.

Di manakah BroadNet Inference sesuai

BroadNet Inference menghidangkan langkah menjawab dalam RAG, bukan pendapatan semula. Ia tidak menjual embeddings atau storan vektor, jadi pasangkannya dengan penyedia embeddings dan pangkalan data vektor pilihan anda. Untuk jawapan, Gemma 4 VL 26B ialah pilihan kos rendah dan berjalan pada kredit permulaan $5. Qwen3.8 27B (konteks 262,144 token) dan GLM 5.3 (1,048,576) sesuai untuk top-k yang lebih besar atau dokumen panjang, selepas tambah nilai. Prompt dan petikan yang didapatkan semula tidak disimpan selepas permintaan. Jika korpus anda cukup kecil dan stabil untuk muat dalam tetingkap konteks, konteks panjang mungkin lebih baik daripada chunking sepenuhnya.

Soalan lazim

Berapakah saiz chunk yang baik untuk RAG?

Mulakan sekitar 256 hingga 512 token dan uji. Penilaian Chroma mendapati 200 hingga 400 token tanpa overlap berprestasi baik. NVIDIA mendapati 256 hingga 512 token sesuai untuk soalan faktoid, manakala soalan analitikal lebih baik dengan chunk 1,024 token atau peringkat halaman.

Berapa banyak chunk overlap yang patut saya gunakan?

Kurang daripada kebanyakan tetapan lalai. NVIDIA mendapati 15% terbaik daripada 10%, 15% dan 20% yang dicubanya pada satu set data. Chroma mendapati tetapan tanpa overlap selalunya mendapat skor yang sama baik atau lebih baik. Setiap mata overlap menambah token untuk dibenamkan, disimpan dan dihantar.

Adakah saiz chunk yang lebih besar lebih mahal?

Tidak untuk embedding, jika tanpa overlap: bilangan token korpus tetap sama. Ia lebih mahal bagi setiap pertanyaan, kerana setiap chunk yang didapatkan semula lebih panjang, jadi top-k × saiz chunk bertambah. Rendahkan k apabila anda menaikkan saiz.

Adakah saiz chunk diukur dalam token atau aksara?

Bergantung pada pemecah teks. RecursiveCharacterTextSplitter LangChain mengukur dengan length_function-nya, yang secara lalai ialah panjang aksara. Had embedding dan bil LLM adalah dalam token, jadi hantarkan pengira token.

Adakah saya perlu membenamkan semula apabila menukar saiz chunk?

Ya. Sempadan baharu menghasilkan chunk baharu, dan setiap satu memerlukan vektor baharu. Membenamkan semula bermakna membayar untuk keseluruhan indeks sekali lagi, jadi muktamadkan chunking pada sampel sebelum membenamkan keseluruhan korpus.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity