---
title: "Apakah itu chunking dalam RAG? Saiz chunk dan overlap"
description: "Chunking memecahkan dokumen kepada cebisan yang boleh di-embed, diindeks dan didapatkan semula oleh RAG. Cara saiz chunk dan overlap berfungsi, tetapan biasa, kos."
url: https://broadrouter.com/ms/glossary/chunking/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/chunking/) (dikemas kini 2026-11-15).

# Chunking (pemecahan dokumen untuk RAG)

Dikemas kini 2026-11-15

Chunking ialah langkah dalam pipeline retrieval yang memecahkan dokumen kepada cebisan lebih kecil, dipanggil chunk, sebelum ia di-embed dan diindeks. Saiz chunk menentukan berapa banyak teks dalam setiap cebisan, dan overlap chunk mengulang sebahagian teks antara chunk bersebelahan supaya idea yang terpotong di sempadan tidak hilang.

Juga dikenali sebagai: chunk size, chunk overlap, saiz chunk, pemecahan dokumen, pemecahan teks, text chunking, document chunking, chunking strategy

Retriever tidak boleh memulangkan separuh dokumen. Chunking menentukan apakah cebisannya.

## Cara ia berfungsi

Dokumentasi LangChain menerangkan tujuannya dengan ringkas: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Terjemahan BroadRouter: “memecahkan dokumen besar kepada chunk lebih kecil yang boleh didapatkan semula secara individu dan muat dalam had tetingkap konteks model.”) Setiap chunk kemudian ditukar kepada [embedding](https://broadrouter.com/ms/glossary/embeddings/) dan disimpan dalam [pangkalan data vektor](https://broadrouter.com/ms/glossary/vector-database/), atau diindeks untuk carian kata kunci.

Dua nombor mengawal kebanyakan chunker:

-   **Saiz chunk**: panjang maksimum satu chunk, dalam aksara atau token.
-   **Overlap chunk**: berapa banyak teks dari hujung satu chunk diulang di permulaan chunk seterusnya.

Splitter juga berbeza dari segi tempat ia memotong. LangChain mengesyorkan bermula dengan recursive splitter untuk kebanyakan kes. Ia cuba mengekalkan unit lebih besar seperti perenggan secara utuh, dan beralih kepada ayat, kemudian perkataan, apabila sesuatu unit terlalu besar. `SentenceSplitter` LlamaIndex berfungsi pada sempadan ayat; dokumentasinya menunjukkan ia dengan tetapan eksplisit:

```python
from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
```

Contoh kiraan: korpus 100,000 token yang dipecahkan kepada chunk 500 token dengan overlap 50 token menghasilkan kira-kira 222 chunk (setiap chunk baharu menambah 450 token baharu) dan kira-kira 111,000 token untuk di-embed, 11% lebih banyak berbanding tanpa overlap.

## Mengapa ia penting

-   **Recall.** Chunk yang terlalu kecil kehilangan konteks; chunk yang terlalu besar mencairkan padanan dengan teks yang tidak berkaitan.
-   **Kos LLM.** Chunk yang didapatkan semula dihantar sebagai token input. Lima chunk 1,000 token menambah 5,000 token input pada setiap soalan.
-   **Kos indeks.** Overlap dan chunk kecil kedua-duanya menambah bilangan vektor untuk di-embed dan disimpan.
-   **Bahasa.** Perkataan Arab boleh membawa klitik dan baris yang mengubah kiraan token dan padanan. [Carian RAG Arab](https://broadrouter.com/ms/blog/arabic-rag-search/) merangkumi chunking dan penormalan untuk bahasa Arab.

Chunking hanyalah satu tuil. Menambah [carian hibrid](https://broadrouter.com/ms/glossary/hybrid-search/) atau [reranker](https://broadrouter.com/ms/glossary/reranking/) selalunya lebih membantu berbanding melaraskan saiz sahaja.

## Di BroadNet Inference

BroadNet tidak menawarkan endpoint embedding, jadi anda melakukan chunking dan embedding dengan alat anda sendiri atau penyedia lain, kemudian menghantar chunk yang didapatkan semula kepada model chat BroadNet. Model konteks panjang mengubah pertimbangannya: [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) dan [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) menerima 1,048,576 token, jadi korpus kecil mungkin muat tanpa retrieval langsung. [Konteks panjang vs RAG](https://broadrouter.com/ms/blog/long-context-vs-rag/) membandingkan kedua-duanya.

[Kalkulator chunking RAG](https://broadrouter.com/tools/rag-chunking-calculator/) menganggar bilangan chunk, saiz indeks dan token setiap pertanyaan untuk tetapan anda, dan [saiz chunk dan overlap RAG](https://broadrouter.com/ms/blog/rag-chunk-size-overlap/) menerangkan ujian yang telah diterbitkan.

## Soalan lazim

### Saiz chunk berapakah yang patut saya mulakan?

Tiada satu nilai yang betul. Pilih saiz permulaan, bina set ujian kecil dengan soalan sebenar yang jawapannya diketahui, dan bandingkan kadar hit retrieval pada dua atau tiga saiz. Artikel saiz chunk RAG mengumpulkan hasil yang telah diterbitkan.

### Adakah overlap menjadikan indeks lebih besar?

Ya. Teks yang bertindih disimpan dan di-embed lebih daripada sekali, jadi saiz indeks dan kos embedding meningkat mengikut bahagian overlap.

### Perlukah saya memecahkan mengikut aksara atau token?

Saiz berasaskan token sepadan dengan apa yang benar-benar dikira oleh model embedding dan LLM. Saiz aksara lebih mudah, tetapi bilangan aksara yang sama boleh menjadi bilangan token yang sangat berbeza dalam bahasa yang berlainan, termasuk bahasa Arab.

## Lihat juga

-   [RAG (retrieval-augmented generation)](https://broadrouter.com/ms/glossary/rag/) (istilah)
-   [Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/) (istilah)
-   [Pangkalan data vektor (vector database)](https://broadrouter.com/ms/glossary/vector-database/) (istilah)
-   [Carian hibrid (hybrid search)](https://broadrouter.com/ms/glossary/hybrid-search/) (istilah)
-   [Reranking (penyusunan semula kedudukan)](https://broadrouter.com/ms/glossary/reranking/) (istilah)
-   [Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/) (istilah)
-   [Guna LlamaIndex dengan BroadNet Inference melalui OpenAILike](https://broadrouter.com/ms/guides/llamaindex-openailike/) (panduan)
-   [Cara guna LangChain dengan BroadNet Inference](https://broadrouter.com/ms/guides/langchain-openai-base-url/) (panduan)
-   [Saiz chunk dan overlap RAG: kesannya pada retrieval dan kos](https://broadrouter.com/ms/blog/rag-chunk-size-overlap/) (artikel)
-   [RAG bahasa Arab: penormalan, chunking dan carian yang berkesan](https://broadrouter.com/ms/blog/arabic-rag-search/) (artikel)
-   [Konteks panjang vs RAG: bila 1M token menggantikan DB vektor](https://broadrouter.com/ms/blog/long-context-vs-rag/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-chunking&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi LangChain, text splitters (disemak 2026-11-15)](https://docs.langchain.com/oss/python/integrations/splitters)
-   [Dokumentasi LlamaIndex, corak penggunaan node parser (SentenceSplitter) (disemak 2026-11-15)](https://developers.llamaindex.ai/python/framework/module_guides/loading/node_parsers/)
