BroadRouter
Mulai

Chunking (RAG)

Diperbarui

Chunking adalah langkah dalam pipeline retrieval yang memecah dokumen menjadi potongan lebih kecil, disebut chunk, sebelum di-embed dan diindeks. Chunk size menentukan berapa banyak teks di setiap potongan, dan chunk overlap mengulang sebagian teks di antara chunk yang berdekatan agar gagasan yang terpotong di batas tidak hilang.

Disebut juga: chunking, pemotongan dokumen, pemecahan teks, ukuran chunk, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Retriever tidak bisa mengembalikan setengah dokumen. Chunking menentukan seperti apa potongan-potongannya.

Cara kerjanya

Dokumentasi LangChain menjelaskan tujuannya dengan sederhana: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (terjemahan: memecah dokumen besar menjadi chunk lebih kecil yang bisa diambil satu per satu dan muat dalam batas context window model.) Setiap chunk kemudian diubah menjadi embeddings dan disimpan di vector database, atau diindeks untuk pencarian kata kunci.

Dua angka mengendalikan sebagian besar chunker:

  • Chunk size: panjang maksimum sebuah chunk, dalam karakter atau token.
  • Chunk overlap: seberapa banyak teks dari akhir satu chunk diulang di awal chunk berikutnya.

Splitter juga berbeda dalam hal di mana ia memotong. LangChain merekomendasikan memulai dengan recursive splitter untuk sebagian besar kasus. Splitter ini berusaha menjaga unit besar seperti paragraf tetap utuh, lalu turun ke kalimat, kemudian kata, jika sebuah unit terlalu besar. SentenceSplitter milik LlamaIndex bekerja pada batas kalimat; dokumentasinya menampilkan contoh dengan setelan eksplisit:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Contoh hitungan: korpus 100.000 token yang dipecah menjadi chunk 500 token dengan overlap 50 token menghasilkan sekitar 222 chunk (setiap chunk baru menambah 450 token baru) dan sekitar 111.000 token untuk di-embed, 11% lebih banyak daripada tanpa overlap.

Kenapa ini penting

  • Recall. Chunk yang terlalu kecil kehilangan konteks; chunk yang terlalu besar mengencerkan kecocokan dengan teks yang tidak relevan.
  • Biaya LLM. Chunk yang diambil dikirim sebagai token input. Lima chunk berukuran 1.000 token menambah 5.000 token input ke setiap pertanyaan.
  • Biaya indeks. Overlap dan chunk kecil sama-sama menambah jumlah vektor yang harus di-embed dan disimpan.
  • Bahasa. Kata-kata Arab bisa membawa klitik dan harakat yang mengubah jumlah token dan pencocokan. Pencarian RAG bahasa Arab membahas chunking dan normalisasi untuk bahasa Arab.

Chunking hanyalah satu tuas. Menambahkan hybrid search atau reranker sering lebih membantu daripada sekadar menyetel ukuran.

Di BroadNet Inference

BroadNet tidak menyediakan endpoint embeddings, jadi Anda melakukan chunking dan embedding dengan alat Anda sendiri atau penyedia lain, lalu mengirim chunk yang diambil ke model chat BroadNet. Model konteks panjang mengubah trade-off-nya: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token, sehingga korpus kecil mungkin muat tanpa retrieval sama sekali. Konteks panjang vs RAG membandingkan keduanya.

Kalkulator chunking RAG memperkirakan jumlah chunk, ukuran indeks, dan token per kueri untuk setelan Anda, dan chunk size dan overlap RAG membahas pengujian yang sudah dipublikasikan.

Pertanyaan umum

Chunk size berapa yang sebaiknya saya pakai untuk mulai?

Tidak ada satu nilai yang benar. Pilih ukuran awal, buat set uji kecil berisi pertanyaan nyata yang jawabannya sudah diketahui, lalu bandingkan hit rate retrieval pada dua atau tiga ukuran. Artikel chunk size RAG mengumpulkan hasil yang sudah dipublikasikan.

Apakah overlap membuat indeks lebih besar?

Ya. Teks yang tumpang tindih disimpan dan di-embed lebih dari sekali, jadi ukuran indeks dan biaya embedding bertambah seiring porsi overlap.

Sebaiknya chunking berdasarkan karakter atau token?

Ukuran berbasis token sesuai dengan yang benar-benar dihitung model embedding dan LLM. Ukuran karakter lebih sederhana, tetapi jumlah karakter yang sama bisa menjadi jumlah token yang sangat berbeda di bahasa yang berbeda, termasuk bahasa Arab.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity