Vector database trả lời rất nhanh một câu hỏi: trong các mục đã lưu, mục nào có nghĩa gần với truy vấn này?
Cách hoạt động
Mỗi bản ghi là một embedding, tức một danh sách số có độ dài cố định, cộng với metadata như văn bản gốc, ID tài liệu và ngày tháng. Khi truy vấn, bạn embed câu hỏi bằng cùng model và yêu cầu top k vector gần nhất.
“Gần nhất” cần một thước đo khoảng cách. pgvector, extension của Postgres, có ba toán tử: <-> cho khoảng cách Euclid (L2), <#> cho tích vô hướng âm và <=> cho khoảng cách cosine. Hãy dùng thước đo mà model embedding của bạn được huấn luyện cho; OpenAI khuyên dùng độ tương đồng cosine cho vector của họ.
So một truy vấn với mọi vector đã lưu thì chính xác nhưng chậm khi quy mô lớn. Index láng giềng gần nhất xấp xỉ (ANN) tránh được việc đó:
| Index | Cách hoạt động | Đánh đổi (theo tài liệu pgvector) |
|---|---|---|
| HNSW | Đồ thị lân cận nhiều tầng | Cân bằng tốc độ–recall tốt hơn, build chậm hơn, tốn nhiều bộ nhớ hơn |
| IVFFlat | Gom vector thành các danh sách | Build nhanh hơn, ít bộ nhớ hơn, truy vấn chậm hơn ở cùng mức recall |
Bài báo HNSW của Malkov và Yashunin mô tả một chồng đồ thị, nơi việc tìm kiếm bắt đầu ở các tầng trên thưa thớt, điều này “allows a logarithmic complexity scaling.” (Bản dịch: cho phép độ phức tạp tăng theo hàm logarit.) README của pgvector tóm gọn sự đánh đổi: index xấp xỉ “trades some recall for speed.” (Bản dịch: đổi một phần recall lấy tốc độ.)
Vì sao quan trọng
- Nó là bộ truy xuất trong hầu hết hệ thống RAG. Nếu kho bỏ sót đúng đoạn cần tìm, LLM sẽ không bao giờ thấy nó.
- Recall là một thiết lập, không phải điều hiển nhiên. Tham số ANN thay đổi kết quả trả về. Hãy đo recall trên truy vấn thật.
- Lọc. Truy vấn thật có thêm điều kiện như ngôn ngữ, khách hàng hay ngày tháng. Hãy kiểm tra bộ lọc được áp dụng trước khi xếp hạng, chứ không phải sau khi cắt top k làm rơi mất kết quả hợp lệ.
Trên BroadNet Inference
BroadNet không host kho vector và tài liệu của BroadNet không liệt kê endpoint embedding. Một thiết lập điển hình gồm kho vector của riêng bạn, một model embedding từ nguồn khác, và một chat model của BroadNet viết câu trả lời từ các đoạn được truy xuất. Với kho tài liệu nhỏ, một context window lớn có thể thay thế kho vector; xem long context hay RAG. Với văn bản tiếng Ả Rập, tìm kiếm RAG tiếng Ả Rập giải thích vì sao đặt một index từ khóa cạnh index vector lại có ích.
Lỗi thường gặp
- Truy vấn bằng một model embedding khác với model đã dùng để lập index.
- Chỉnh prompt cho LLM trong khi vấn đề thật là recall truy xuất thấp.