Retriever không thể trả về nửa tài liệu. Chunking quyết định các mảnh là gì.
Cách hoạt động
Tài liệu LangChain nói mục đích rất gọn: text splitter “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Bản dịch: chia tài liệu lớn thành các chunk nhỏ hơn có thể truy xuất riêng lẻ và vừa giới hạn context window của model.) Mỗi chunk sau đó được chuyển thành embedding và lưu vào vector database, hoặc được index cho tìm kiếm từ khóa.
Hai con số điều khiển phần lớn bộ chia chunk:
- Chunk size: độ dài tối đa của một chunk, tính bằng ký tự hoặc token.
- Chunk overlap: bao nhiêu văn bản ở cuối một chunk được lặp lại ở đầu chunk tiếp theo.
Các splitter cũng khác nhau ở chỗ cắt. LangChain khuyên dùng recursive splitter của họ cho phần lớn trường hợp. Nó cố giữ nguyên các đơn vị lớn như đoạn văn, và lùi xuống câu, rồi tới từ, khi một đơn vị quá lớn. SentenceSplitter của LlamaIndex làm việc theo ranh giới câu; tài liệu của họ minh họa với cấu hình cụ thể:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Một phép tính ví dụ: corpus 100.000 token chia thành chunk 500 token với overlap 50 token cho khoảng 222 chunk (mỗi chunk mới thêm 450 token mới) và khoảng 111.000 token cần embed, nhiều hơn 11% so với không overlap.
Vì sao quan trọng
- Recall. Chunk quá nhỏ mất ngữ cảnh; chunk quá lớn làm loãng kết quả khớp bằng văn bản không liên quan.
- Chi phí LLM. Chunk được truy xuất gửi đi dưới dạng token đầu vào. Năm chunk 1.000 token thêm 5.000 token đầu vào cho mỗi câu hỏi.
- Chi phí index. Overlap và chunk nhỏ đều làm tăng số vector cần embed và lưu.
- Ngôn ngữ. Từ tiếng Ả Rập có thể mang clitic và dấu phụ làm thay đổi số token và việc so khớp. Tìm kiếm RAG tiếng Ả Rập trình bày chunking và chuẩn hóa cho tiếng Ả Rập.
Chunking chỉ là một đòn bẩy. Thêm hybrid search hoặc reranker thường giúp nhiều hơn chỉ chỉnh kích thước.
Trên BroadNet Inference
BroadNet không cung cấp endpoint embedding, nên bạn chia chunk và embed bằng công cụ của mình hoặc nhà cung cấp khác, rồi gửi các chunk truy xuất được tới một model chat của BroadNet. Model context dài làm thay đổi bài toán đánh đổi: DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576 token, nên một corpus nhỏ có thể vừa luôn mà không cần truy xuất. Context dài hay RAG so sánh hai cách.
Công cụ tính chunking cho RAG ước tính số chunk, kích thước index và số token mỗi truy vấn theo cấu hình của bạn, còn chunk size và overlap trong RAG đi qua các thử nghiệm đã công bố.