RAG cho model làm bài kiểu được mở sách: trước khi model trả lời, code của bạn tra các trang liên quan và đặt chúng vào prompt.
Cách hoạt động
Thuật ngữ này xuất phát từ Lewis và cộng sự (2020). Họ ghép một model sinh (“parametric memory”, Bản dịch: bộ nhớ tham số) với “a dense vector index of Wikipedia” (Bản dịch: một chỉ mục vector dày đặc của Wikipedia, tức “non-parametric memory”, bộ nhớ phi tham số) được truy cập qua một retriever dạng mạng nơ-ron, và báo cáo kết quả hỏi đáp miền mở tốt hơn các model chỉ dựa vào trọng số.
Một pipeline RAG hiện đại dùng API LLM thường như sau:
- Index. Chia tài liệu thành các chunk, chuyển mỗi chunk thành embedding và lưu vào một vector database, thường kèm một chỉ mục từ khóa.
- Truy xuất. Embed câu hỏi của người dùng và lấy các chunk khớp nhất, khoảng 5 đến 20.
- Sinh câu trả lời. Đặt các chunk đó vào prompt kèm chỉ dẫn chỉ trả lời dựa trên chúng và trích dẫn nguồn. Gửi tới model chat.
Model không tự tìm kiếm. Chất lượng truy xuất quyết định mức trần: nếu đoạn văn đúng không được truy xuất, model không thể dùng nó.
Vì sao quan trọng
- Tính cập nhật. Trọng số của model dừng ở thời điểm kết thúc huấn luyện. RAG cho phép nó trả lời dựa trên bảng giá hay chính sách của hôm nay.
- Chi phí. Gửi 10 chunk tốn ít token đầu vào hơn nhiều so với gửi toàn bộ kho tài liệu cho mỗi câu hỏi.
- Truy vết được. Câu trả lời có thể trích dẫn các đoạn gốc, hỗ trợ grounding và giúp phát hiện ảo giác dễ hơn.
- Thứ tự quan trọng. Model dùng phần đầu và cuối của một prompt dài tốt hơn phần giữa. Hãy đặt các đoạn tốt nhất lên đầu. Xem lost in the middle.
Trên BroadNet Inference
BroadNet đảm nhận bước sinh câu trả lời. Tài liệu không liệt kê endpoint embedding, nên retriever cần một model embedding riêng hoặc tìm kiếm theo từ khóa. DeepSeek V4.1 Flash và GLM 5.3 nhận tới 1.048.576 token context, nên việc truy xuất rộng rãi (hoặc không cần truy xuất với kho nhỏ) là khả thi. Bài context dài và RAG so sánh hai cách về chi phí và recall, còn tìm kiếm RAG cho tiếng Ả Rập đề cập chuẩn hóa và truy xuất kết hợp (hybrid) cho tiếng Ả Rập.
Lỗi thường gặp
- Đổ lỗi cho model khi retriever mới là nguyên nhân. Hãy ghi log những chunk được truy xuất cho từng câu trả lời.
- Chunk cắt đôi bảng hoặc câu.
- Không có chỉ dẫn nói “không tìm thấy”. Thiếu nó, model sẽ lấp chỗ trống bằng trí nhớ.