BroadRouter

Chunk size và overlap trong RAG: ảnh hưởng tới truy xuất và chi phí

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày · Cập nhật

Hãy bắt đầu với chunk khoảng 256 đến 512 token, overlap 0 đến 15%, và chỉnh top-k theo truy vấn của bạn. Chunk càng lớn, mỗi truy vấn gửi càng nhiều token tới LLM. Overlap nhân số token bạn embed và lưu lên size ÷ (size − overlap) lần, nên overlap 50% làm index gấp đôi. Thử nghiệm đã công bố cho thấy chunk nhỏ hoặc không overlap thường có recall bằng hoặc tốt hơn.

Chunk size và overlap là hai con số mà mọi pipeline RAG đặt từ sớm và hiếm khi xem lại. Chúng quyết định bạn lưu bao nhiêu vector, embed bao nhiêu token, mỗi câu hỏi gửi bao nhiêu token tới LLM, và liệu có tìm được đúng đoạn văn hay không. Bài này trình bày những gì các thử nghiệm đã công bố tìm ra, rồi đi qua phần tính toán token để bạn thấy chi phí của từng thiết lập trước khi embed bất cứ thứ gì.

Nếu bạn còn đang cân nhắc có dùng RAG hay không, hãy bắt đầu với long context và RAG. Với tài liệu tiếng Ả Rập, hãy đọc RAG tiếng Ả Rập và chuẩn hóa văn bản tiếng Ả Rập cùng với bài này.

Chunk size và overlap thay đổi những gì?

  • Chunk size là số token trong mỗi mảnh bạn embed và truy xuất.
  • Overlap là số token mà các chunk liên tiếp dùng chung, để một câu bị cắt ở ranh giới vẫn xuất hiện trọn vẹn trong ít nhất một chunk.
  • Top-k là số chunk bạn truy xuất cho mỗi câu hỏi.

Cùng nhau, chúng quyết định bốn thứ:

Đại lượng Công thức (tài liệu dài)
Số chunk lưu trữ token kho tài liệu ÷ (size − overlap)
Số token được embed token kho tài liệu × size ÷ (size − overlap)
Context mỗi truy vấn top-k × size
Đầu vào LLM mỗi truy vấn top-k × size + system prompt + câu hỏi

Hai thứ đầu được trả một lần cho mỗi lần index, và trả lại mỗi khi bạn chunk lại. Thứ cuối cùng được trả ở mọi câu hỏi, mãi mãi.

Các thử nghiệm đã công bố nói gì về chunk size?

Có hai đánh giá công khai đáng biết, vì chúng đo những thứ khác nhau.

Chroma (Smith và Troynikov, tháng 7/2024) đo truy xuất ở cấp độ token: bao nhiêu phần văn bản liên quan được truy xuất (recall), và bao nhiêu phần trong số được truy xuất là liên quan. Đánh giá dùng năm chunk truy xuất và text-embedding-3-large của OpenAI. Một số hàng chọn lọc:

Splitter Size (token) Overlap Recall IoU
Recursive 800 400 85,4% 1,5%
Token 800 400 87,9% 1,4%
Recursive 400 200 88,1% 3,3%
Recursive 400 0 89,5% 3,6%
Recursive 200 0 88,1% 6,9%

IoU (intersection over union) đo bao nhiêu phần văn bản được truy xuất là liên quan, nên cũng có thể dùng làm thước đo token bị lãng phí. Các hàng 800/400 trùng với mặc định của OpenAI cho file search; giả sử dùng token splitter, Chroma thấy thiết lập đó cho recall hơi dưới trung bình và điểm thấp nhất ở các chỉ số khác. Chunk nhỏ hơn không overlap có recall bằng hoặc cao hơn và mang theo ít văn bản không liên quan hơn nhiều.

NVIDIA (tháng 6/2025) đo độ chính xác câu trả lời đầu-cuối trên năm bộ dữ liệu, với chunk token từ 128 đến 2.048 ở overlap 15%, cùng với chunking theo trang và theo mục. Chunking theo trang có độ chính xác trung bình cao nhất (0,648) và phương sai thấp nhất. Kích thước token tốt nhất phụ thuộc vào câu hỏi: các bộ tra cứu dữ kiện hợp với 256 đến 512 token, các bộ phân tích hợp với 1.024 token hoặc cả trang. Hai thái cực, 128 và 2.048, thường cho kết quả kém hơn.

Hai đánh giá đồng ý ở một điểm: không có kích thước tốt nhất cho mọi trường hợp, và chunk rất lớn với overlap nặng hiếm khi là mặc định đúng.

Overlap làm index phình lên bao nhiêu?

Mỗi chunk tiến thêm size − overlap token, nên index chứa size ÷ (size − overlap) bản sao của kho tài liệu. Với kho tài liệu 2.000.000 token gồm các tài liệu 10.000 token:

Size Overlap Số chunk Token được embed Hệ số phình
200 0 10.000 2.000.000 1,00×
400 0 5.000 2.000.000 1,00×
512 77 (15%) 4.600 2.338.800 1,17×
1.024 154 (15%) 2.400 2.338.800 1,17×
800 400 (50%) 4.800 3.840.000 1,92×
400 200 (50%) 9.800 3.920.000 1,96×

Tài liệu ngắn phình ít hơn một chút, vì chunk cuối của mỗi tài liệu không đầy. Công thức cho giá trị giới hạn: overlap 15% tốn thêm khoảng 18%, còn 50% tốn thêm khoảng 100%, ở token embedding, dung lượng lưu vector và thời gian index lại.

Overlap cũng tốn ở lúc truy vấn. Với overlap 50%, hai chunk liền kề được truy xuất cho cùng một câu hỏi lặp lại một nửa văn bản của nhau. Bạn trả tiền cho những token trùng lặp đó, và chúng đẩy các đoạn liên quan khác ra khỏi top-k.

BroadNet không bán embedding, nên phần hóa đơn này thuộc về nhà cung cấp embedding của bạn. Hãy tính bằng công cụ tính chi phí embedding.

Chunk size ảnh hưởng tới hóa đơn LLM thế nào?

Mỗi câu hỏi gửi top-k chunk cộng prompt. Giả sử 100.000 câu hỏi mỗi tháng, 600 token cho system prompt và câu hỏi, và mỗi lần cùng một câu trả lời 300 token:

Size × top-k Context mỗi truy vấn Đầu vào mỗi truy vấn Đầu vào mỗi tháng
200 × 10 2.000 2.600 260 triệu
400 × 5 2.000 2.600 260 triệu
512 × 5 2.560 3.160 316 triệu
800 × 5 4.000 4.600 460 triệu
1.024 × 5 5.120 5.720 572 triệu
1.024 × 8 8.192 8.792 879 triệu

Đầu ra là 30 triệu token mỗi tháng ở mọi hàng, nên chỉ đầu vào thay đổi. Với giá tính trên mỗi 1M token, chi phí đầu vào hằng tháng là số triệu ở cột cuối nhân với giá đó. Trên Gemma 4 VL 26B với giá $0.10 mỗi 1M token đầu vào, thiết lập 1.024 × 8 tốn 879 × $0.10 mỗi tháng cho đầu vào, so với 260 × $0.10 cho 400 × 5. Tức là gấp 3,4 lần, cho một thiết lập mà các thử nghiệm đã công bố không cho thấy có recall tốt hơn. Trên Qwen3.8 27B (đầu vào $0.175) hay GLM 5.3 (đầu vào $0.78), tỷ lệ vẫn vậy và tổng tiền lớn hơn.

Có hai đòn bẩy tác động mạnh hơn giá model:

  1. Giảm k khi tăng size. 200 × 10 và 400 × 5 gửi cùng lượng context. Hãy giữ context mỗi truy vấn gần như cố định khi test các kích thước, để bạn so sánh chất lượng truy xuất chứ không phải ngân sách context.
  2. Cache phần cố định. Đặt system prompt ở đầu và giữ nó giống hệt từng byte, để nó có thể được tính theo giá đầu vào đã cache trên các model có giá này. Chunk được truy xuất thay đổi theo từng câu hỏi và hiếm khi được cache.

Giới hạn context cũng quan trọng. Gemma 4 VL 26B nhận 32.768 token mỗi request, quá đủ cho mọi hàng ở trên. Nếu bạn đẩy k × size lên hàng chục nghìn token, bạn đã chuyển từ RAG sang long context, và phép so sánh đó có cách tính riêng. Công cụ tính chunking RAG chạy các công thức này với kho tài liệu, chunk size, overlap và top-k của bạn.

Chunk theo token mà không cắt ngang từ thế nào?

Hãy đếm bằng token, nhưng cắt theo cấu trúc. RecursiveCharacterTextSplitter của LangChain đo kích thước bằng length_function, mặc định là độ dài ký tự. Khi đó “size” 512 là 512 ký tự, tức khoảng 100 đến 150 token tiếng Anh, và lại là một con số khác với tiếng Ả Rập; xem số token mỗi từ trong tiếng Ả Rập. Giới hạn embedding và hóa đơn LLM tính bằng token.

Chunker này xếp nguyên đoạn văn cho tới ngân sách token và mang các đoạn cuối sang chunk sau làm overlap. Cắt ở ranh giới đoạn văn tránh được việc tách đôi từ hoặc ký tự tiếng Ả Rập nhiều byte, điều mà cửa sổ token thô có thể gây ra.

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

Overlap ở đây là “tối đa”: một đoạn văn dài hơn ngân sách overlap sẽ không được lặp lại. Một đoạn văn dài hơn size vẫn được giữ nguyên; hãy tách những đoạn như vậy theo câu trước nếu tài liệu của bạn có chúng. Hãy thêm tiêu đề tài liệu và tiêu đề mục vào đầu mỗi chunk, để chunk được truy xuất vẫn cho biết nó nói về gì. Việc này thêm vài token mỗi chunk và thường giúp ích nhiều hơn overlap.

Chọn các con số cho dữ liệu của bạn thế nào?

  1. Xây dựng bộ đánh giá. 50 đến 200 câu hỏi thật, mỗi câu kèm đoạn văn trả lời nó. Hướng dẫn đánh giá LLM trình bày cách chấm điểm.
  2. Cố định ngân sách context. Giữ k × size quanh một giá trị, như 2.000 token, khi so sánh các kích thước.
  3. Thử ba kích thước và hai mức overlap. Ví dụ 256, 512 và 1.024 token, mỗi loại ở overlap 0 và 15%. Đo recall của đúng đoạn văn tại k.
  4. Thử theo cấu trúc. Nếu tài liệu có trang hoặc mục đánh số, hãy test chunk theo trang hoặc theo mục so với các kích thước token. NVIDIA thấy chunk theo trang ổn định nhất.
  5. Chọn thiết lập rẻ nhất nằm trong khoảng một hai điểm so với recall tốt nhất, rồi tính chi phí theo lượng truy vấn của bạn bằng phương pháp ước tính chi phí hằng tháng.

Hãy làm việc này trên một mẫu trước khi embed toàn bộ kho tài liệu. Đổi cách chunking về sau nghĩa là phải embed lại tất cả.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference phục vụ bước trả lời của RAG, không phải bước truy xuất. Dịch vụ không bán embedding hay lưu trữ vector, nên hãy kết hợp nó với nhà cung cấp embedding và vector database bạn chọn. Cho bước trả lời, Gemma 4 VL 26B là lựa chọn chi phí thấp và chạy được bằng tín dụng ban đầu $5. Qwen3.8 27B (context 262.144 token) và GLM 5.3 (1.048.576) phù hợp với top-k lớn hơn hoặc tài liệu dài, sau khi nạp tiền. Prompt và các đoạn được truy xuất không được lưu giữ sau request. Nếu kho tài liệu của bạn đủ nhỏ và ổn định để vừa context window, long context có thể tốt hơn hẳn việc chunking.

Câu hỏi thường gặp

Chunk size bao nhiêu là tốt cho RAG?

Hãy bắt đầu khoảng 256 đến 512 token rồi test. Đánh giá của Chroma cho thấy 200 đến 400 token không overlap cho kết quả tốt. NVIDIA thấy 256 đến 512 token hợp với câu hỏi tra cứu dữ kiện, còn câu hỏi phân tích tốt hơn với chunk 1.024 token hoặc theo trang.

Nên dùng chunk overlap bao nhiêu?

Ít hơn phần lớn giá trị mặc định. NVIDIA thấy 15% là tốt nhất trong các mức 10%, 15% và 20% thử trên một bộ dữ liệu. Chroma thấy các thiết lập không overlap thường đạt điểm bằng hoặc tốt hơn. Mỗi phần trăm overlap đều thêm token phải embed, lưu và gửi đi.

Chunk size lớn hơn có tốn hơn không?

Không tốn hơn khi embed, nếu không có overlap: kho tài liệu vẫn có cùng số token. Nhưng tốn hơn mỗi truy vấn, vì mỗi chunk được truy xuất dài hơn, nên top-k × chunk size tăng lên. Hãy giảm k khi tăng size.

Chunk size đo bằng token hay ký tự?

Tùy splitter. RecursiveCharacterTextSplitter của LangChain đo bằng length_function, mặc định là độ dài ký tự. Giới hạn embedding và hóa đơn LLM tính bằng token, nên hãy truyền vào một hàm đếm token.

Đổi chunk size có phải embed lại không?

Có. Ranh giới mới tạo ra chunk mới, và mỗi chunk cần một vector mới. Embed lại tốn chi phí của cả index một lần nữa, nên hãy chốt cách chunking trên một mẫu trước khi embed toàn bộ kho tài liệu.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity