BroadRouter

Long context và RAG: khi 1M token thay được vector DB

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

Long context thay được RAG khi kho tài liệu vừa window, hiếm khi thay đổi và câu hỏi cần nhiều phần của nó cùng lúc; cache giữ truy vấn lặp lại ở mức rẻ. RAG vẫn thắng khi kho tài liệu vượt quá window, cập nhật liên tục, cần phân quyền theo người dùng hoặc phải trả lời trong một hai giây. Nhiều hệ thống truy xuất bằng RAG và suy luận bằng long context.

Hướng dẫn context window 1M token trình bày những gì vừa trong một triệu token và một request tốn bao nhiêu. Bài này trả lời một câu hỏi hẹp hơn, xuất hiện trong mọi buổi review kiến trúc: có thể xóa vector database và pipeline RAG xung quanh nó không? Đôi khi là có. Dưới đây là cách quyết định, theo bốn trục: chi phí, độ trễ, recall và công bảo trì.

Khi nào long context thay được RAG?

Cả bốn điều sau đều phải đúng:

  1. Kho tài liệu vừa window. Prompt cộng câu trả lời cộng phần suy luận vẫn nằm trong context window với một khoảng dư. Trên DeepSeek V4.1 Flash và GLM 5.3, window đó là 1.048.576 token (so sánh hai model). Công cụ tính context window kiểm tra xem tài liệu của bạn có vừa không.
  2. Hiếm khi thay đổi. Một sổ tay cập nhật hằng tháng thì ổn. Một hàng đợi ticket cập nhật từng phút thì không.
  3. Ai cũng được xem toàn bộ. Một kho tài liệu dùng chung, không có phân quyền theo người dùng cần lọc.
  4. Câu hỏi trải khắp kho tài liệu. “Hợp đồng nào mâu thuẫn với chính sách mới?” cần nhìn thấy tất cả; “thời hạn hoàn tiền là bao lâu?” thì không.

Nếu một điều sai, hãy giữ bước truy xuất, hoặc dùng mô hình kết hợp.

Chi phí mỗi truy vấn so sánh thế nào?

Lấy một bộ tài liệu 400.000 token và một câu hỏi có câu trả lời 500 token. RAG truy xuất, chẳng hạn, 8.000 token chunk. Với DeepSeek V4.1 Flash trên một key trả theo mức dùng:

Cách làm Đầu vào mỗi truy vấn Chi phí đầu vào mỗi truy vấn
Long context, truy vấn đầu tiên 400.000 mới 0,4 × $0.175
Long context, truy vấn lặp lại, prefix đã cache khoảng 400.000 đã cache khoảng 0,4 × $0.0055
RAG 8.000 mới 0,008 × $0.175

Đầu ra như nhau trong mọi trường hợp: 500 token × $0.52 mỗi 1M. (Mỗi hệ số là số triệu token nhân với giá mỗi 1M.)

Từ đó rút ra ba điều. Không có cache, long context tốn gấp 50 lần RAG mỗi truy vấn ở phần đầu vào, vì nó gửi gấp 50 lần số token. Khi kho tài liệu đã được cache, khoảng cách thu hẹp nhiều, vì đầu vào đã cache trên model này chỉ tốn vài phần trăm so với đầu vào mới. Nhưng cache chỉ giữ được khi prefix giống hệt từng byte, nên kho tài liệu phải đứng đầu và giữ ổn định; xem cấu trúc prompt cho cache. RAG có những chi phí riêng mà bảng này bỏ qua: embedding kho tài liệu, vận hành vector store, và thời gian kỹ thuật để tinh chỉnh chunking. Công cụ tính chi phí embedding tính phần embedding. Công cụ tính chunking RAG tính phía truy vấn: chunk, token mỗi truy vấn và hóa đơn LLM hằng tháng.

Để xem tỷ lệ cache của bạn đáng giá bao nhiêu, hãy thử công cụ tính prompt caching. Trên gói giá cố định, cột đầu vào biến mất: Full Moon có giá $60 mỗi tháng cho mỗi phiên và không đo token, nên một prompt 400.000 token tốn bằng một prompt ngắn.

Độ trễ so sánh thế nào?

Model đọc toàn bộ prompt trước khi viết token đầu tiên. Thời gian tới token đầu tiên tăng theo độ dài prompt, và một prompt dài hàng trăm nghìn token bắt đầu chậm hơn rõ rệt so với prompt 8.000 token. Prefix đã cache giúp ích trên nhiều hệ thống phục vụ. Bản thân việc tìm kiếm vector thường thêm rất ít; lệnh truy xuất là nhỏ so với quá trình sinh.

Vì vậy, với một trợ lý tương tác phải trả lời trong một hai giây, RAG là mặc định an toàn hơn. Với một nhà phân tích đặt một câu hỏi sâu rồi chờ câu trả lời, long context là ổn. Hãy đo TTFT trên prompt của chính bạn ở kích thước bạn định gửi.

Bên nào có recall tốt hơn?

Không bên nào hoàn hảo, và chúng thất bại theo cách khác nhau.

Long context có thể đánh mất dữ kiện ở giữa (lost in the middle). Nghiên cứu Lost in the Middle cho thấy model dùng thông tin tốt nhất khi nó nằm ở đầu hoặc cuối đầu vào, và kém hơn khi nằm ở giữa. Benchmark RULER cho thấy những model đạt điểm gần tuyệt đối trong các bài test needle-in-a-haystack đơn giản bị giảm chất lượng ở các tác vụ khó hơn khi đầu vào dài ra, và trong số các model tuyên bố 32K token trở lên, “only half of them” (bản dịch: chỉ một nửa trong số đó) giữ được hiệu năng đạt yêu cầu ở 32K. Model mới hơn làm tốt hơn, nhưng window được quảng cáo không giống với window mà chất lượng còn giữ được.

RAG thất bại trước khi model bắt đầu: nếu bộ truy xuất bỏ sót đoạn văn, model không bao giờ thấy nó. Câu hỏi cần nhiều đoạn, hoặc dùng từ ngữ khác với nguồn, là những trường hợp bỏ sót kinh điển.

Kiểu thất bại Long context RAG
Dữ kiện bị chôn giữa prompt Rủi ro tăng theo độ dài Thấp, prompt ngắn
Câu trả lời cần 20 đoạn rải rác Mạnh Yếu trừ khi top-k lớn
Cách diễn đạt câu hỏi khác nguồn Mạnh Tùy embedding và reranking
Kho tài liệu lớn hơn window Không thể Mạnh

Hai cách giảm thiểu cho long context: đặt câu hỏi ở cuối, sau tài liệu, và yêu cầu model trích dẫn những dòng nó dựa vào.

Còn công bảo trì thì sao?

RAG là một hệ thống: chunking, embedding, index, index lại khi có thay đổi, bộ lọc phân quyền, đánh giá chất lượng truy xuất. Long context là một prompt: nối các file với nhãn rõ ràng rồi gửi. Với một nhóm nhỏ có kho tài liệu vừa window, xóa pipeline giúp bớt được khối lượng công việc thật. Với kho tài liệu lớn, thay đổi liên tục và có phân quyền, pipeline đang làm một việc mà long context không làm được.

Mô hình kết hợp mà phần lớn các nhóm cuối cùng chọn

  1. Truy xuất rộng tay, không phải năm chunk mà là cả tài liệu, tới vài trăm nghìn token.
  2. Sắp xếp ổn định (theo ID tài liệu, không theo điểm số) để prefix được cache giữa các câu hỏi liên quan.
  3. Đặt câu hỏi ở cuối và gửi tới một model long context.
  4. Yêu cầu trích dẫn theo nhãn tài liệu, và kiểm tra ngẫu nhiên.

Cách này giữ được phạm vi phủ của RAG trên một kho tài liệu khổng lồ và khả năng suy luận xuyên nhiều nguồn của long context. Nó cũng chịu được bộ truy xuất yếu hơn, vì tài liệu suýt trúng vẫn nằm trong prompt.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference cung cấp hai model 1M token, DeepSeek V4.1 Flash và GLM 5.3, và không cắt context của bạn, nên một request quá khổ sẽ thất bại thay vì âm thầm làm mất tài liệu. Đầu vào đã cache được tính theo mức giá cache thấp hơn trên key tính theo token, và các gói không giới hạn bỏ hẳn việc đo token với DeepSeek V4.1 Flash. Tài liệu API liệt kê chat completions và chép lời, không có endpoint embedding hay vector store, nên phần RAG bạn phải tự chuẩn bị. Hãy chừa chỗ trong window cho token suy luận; hướng dẫn về suy luận giải thích lý do. Giá có trên trang giá.

Câu hỏi thường gặp

Model đã có context window 1M token thì RAG hết thời rồi sao?

Không. Long context bỏ được nhu cầu truy xuất khi toàn bộ kho tài liệu vừa window và ổn định. Phần lớn kho tri thức của doanh nghiệp lớn hơn một triệu token, thay đổi hằng ngày và cần phân quyền, và đó vẫn là địa hạt của RAG.

Long context có chính xác hơn RAG không?

Tùy câu hỏi. Long context làm tốt hơn khi câu trả lời cần kết hợp nhiều đoạn. RAG có thể tốt hơn khi tra một dữ kiện duy nhất trong kho tài liệu khổng lồ, vì prompt ngắn giúp model tập trung. Hãy test cả hai trên câu hỏi thật.

Context window 1 triệu token chứa được bao nhiêu từ?

Khoảng 810,000 từ văn xuôi tiếng Anh thông thường trong window 1.048.576 token của DeepSeek V4.1 Flash, theo mức 1,290 token mỗi 1.000 từ đo trên năm tokenizer trong bộ dữ liệu tokenizer của BroadRouter. Tiếng Anh kỹ thuật, code, bảng và tiếng Ả Rập cần nhiều token hơn mỗi từ, nên vừa ít hơn. Hãy chừa chỗ cho câu trả lời và phần suy luận.

Có thể kết hợp RAG và long context không?

Có, và đó thường là lựa chọn tốt nhất. Hãy truy xuất rộng tay, ví dụ 100.000 đến 200.000 token tài liệu ứng viên, rồi để một model long context suy luận trên tất cả thay vì chỉ năm chunk đứng đầu.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity