BroadRouter
Bắt đầu

Chunking (RAG)

Cập nhật

Chunking là bước trong pipeline truy xuất chia tài liệu thành các mảnh nhỏ hơn, gọi là chunk, trước khi embed và index. Chunk size quyết định mỗi mảnh chứa bao nhiêu văn bản, còn chunk overlap lặp lại một phần văn bản giữa các chunk liền kề để ý bị cắt ở ranh giới không bị mất.

Còn gọi là: chia chunk, chia nhỏ tài liệu, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Retriever không thể trả về nửa tài liệu. Chunking quyết định các mảnh là gì.

Cách hoạt động

Tài liệu LangChain nói mục đích rất gọn: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Bản dịch: chia tài liệu lớn thành các chunk nhỏ hơn có thể truy xuất riêng lẻ và vừa giới hạn context window của model.) Mỗi chunk sau đó được chuyển thành embedding và lưu vào vector database, hoặc được index cho tìm kiếm từ khóa.

Hai con số điều khiển phần lớn bộ chia chunk:

  • Chunk size: độ dài tối đa của một chunk, tính bằng ký tự hoặc token.
  • Chunk overlap: bao nhiêu văn bản ở cuối một chunk được lặp lại ở đầu chunk tiếp theo.

Các splitter cũng khác nhau ở chỗ cắt. LangChain khuyên dùng recursive splitter của họ cho phần lớn trường hợp. Nó cố giữ nguyên các đơn vị lớn như đoạn văn, và lùi xuống câu, rồi tới từ, khi một đơn vị quá lớn. SentenceSplitter của LlamaIndex làm việc theo ranh giới câu; tài liệu của họ minh họa với cấu hình cụ thể:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Một phép tính ví dụ: corpus 100.000 token chia thành chunk 500 token với overlap 50 token cho khoảng 222 chunk (mỗi chunk mới thêm 450 token mới) và khoảng 111.000 token cần embed, nhiều hơn 11% so với không overlap.

Vì sao quan trọng

  • Recall. Chunk quá nhỏ mất ngữ cảnh; chunk quá lớn làm loãng kết quả khớp bằng văn bản không liên quan.
  • Chi phí LLM. Chunk được truy xuất gửi đi dưới dạng token đầu vào. Năm chunk 1.000 token thêm 5.000 token đầu vào cho mỗi câu hỏi.
  • Chi phí index. Overlap và chunk nhỏ đều làm tăng số vector cần embed và lưu.
  • Ngôn ngữ. Từ tiếng Ả Rập có thể mang clitic và dấu phụ làm thay đổi số token và việc so khớp. Tìm kiếm RAG tiếng Ả Rập trình bày chunking và chuẩn hóa cho tiếng Ả Rập.

Chunking chỉ là một đòn bẩy. Thêm hybrid search hoặc reranker thường giúp nhiều hơn chỉ chỉnh kích thước.

Trên BroadNet Inference

BroadNet không cung cấp endpoint embedding, nên bạn chia chunk và embed bằng công cụ của mình hoặc nhà cung cấp khác, rồi gửi các chunk truy xuất được tới một model chat của BroadNet. Model context dài làm thay đổi bài toán đánh đổi: DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576 token, nên một corpus nhỏ có thể vừa luôn mà không cần truy xuất. Context dài hay RAG so sánh hai cách.

Công cụ tính chunking cho RAG ước tính số chunk, kích thước index và số token mỗi truy vấn theo cấu hình của bạn, còn chunk size và overlap trong RAG đi qua các thử nghiệm đã công bố.

Câu hỏi thường gặp

Nên bắt đầu với chunk size bao nhiêu?

Không có một giá trị đúng duy nhất. Hãy chọn một kích thước ban đầu, dựng một tập test nhỏ gồm câu hỏi thật đã biết đáp án, rồi so tỷ lệ truy xuất trúng ở hai ba kích thước. Bài viết về chunk size trong RAG tổng hợp các kết quả đã công bố.

Overlap có làm index lớn hơn không?

Có. Phần văn bản chồng lấn được lưu và embed nhiều hơn một lần, nên kích thước index và chi phí embedding tăng theo tỷ lệ overlap.

Nên chia chunk theo ký tự hay theo token?

Kích thước theo token khớp với cách model embedding và LLM thực sự đếm. Theo ký tự thì đơn giản hơn, nhưng cùng một số ký tự có thể ra số token rất khác nhau giữa các ngôn ngữ, kể cả tiếng Ả Rập.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity