Embedding là cách máy tính đo ý nghĩa: hai văn bản nói những điều tương tự sẽ nhận hai vector chỉ về những hướng tương tự.
Cách hoạt động
Bạn gửi văn bản tới một model embedding và nhận về một vector có độ dài cố định. Hướng dẫn của OpenAI nói thẳng: “An embedding is a vector (list) of floating point numbers.” (Bản dịch: embedding là một vector, tức danh sách, các số thực dấu phẩy động). Độ dài cố định theo từng model. text-embedding-3-small của OpenAI mặc định trả về 1.536 số và text-embedding-3-large trả về 3.072.
Để so sánh hai văn bản, bạn so sánh hai vector của chúng. OpenAI khuyên dùng độ tương đồng cosine. Vector của OpenAI được chuẩn hóa về độ dài 1, nên tích vô hướng thông thường cho ra cùng thứ hạng. So một vector truy vấn với hàng triệu vector đã lưu là cốt lõi của tìm kiếm ngữ nghĩa. Làm việc đó nhanh ở quy mô lớn là nhiệm vụ của vector database.
Model embedding là loại model khác với model chat. Chúng đọc toàn bộ đầu vào và trả về các con số; chúng không sinh văn bản. Chúng tính phí theo token đầu vào, và không có văn bản đầu ra nào phải trả tiền.
Vì sao quan trọng
- Truy xuất. Embedding thường là bước đầu tiên của retrieval-augmented generation: embed tài liệu một lần, embed từng câu hỏi, lấy các chunk gần nhất và chuyển chúng cho model chat.
- Chọn model làm thay đổi kết quả. Benchmark MTEB đã thử 33 model trên 8 loại tác vụ, 58 bộ dữ liệu và 112 ngôn ngữ, và kết luận “no particular text embedding method dominates across all tasks.” (Bản dịch: không có phương pháp text embedding nào vượt trội trên mọi tác vụ). Hãy thử với truy vấn của chính bạn, nhất là với tiếng Ả Rập hoặc văn bản trộn nhiều ngôn ngữ.
- Bị khóa vào model. Vector của model này không so sánh được với vector của model khác. Đổi model embedding nghĩa là phải embed lại toàn bộ kho tài liệu.
Trên BroadNet Inference
Tài liệu BroadNet liệt kê /v1/chat/completions, /v1/audio/transcriptions và GET /v1/models (danh sách model). Không có endpoint embedding. Với hệ thống tìm kiếm hay RAG, hãy ghép một model embedding riêng (API được host sẵn hoặc model mở bạn tự chạy) với một model chat của BroadNet để trả lời. Hướng dẫn RAG cho tiếng Ả Rập trình bày cách chia như vậy với một model embedding đa ngôn ngữ.
Nếu tài liệu của bạn vừa context, đôi khi một context window dài có thể bỏ qua hẳn bước truy xuất. Các đánh đổi có trong bài context dài và RAG.
Lỗi thường gặp
- Trộn vector từ hai model embedding trong cùng một chỉ mục.
- Embed nguyên tài liệu thay vì từng chunk. Một vector cho 50 trang sẽ làm nhòe mọi chủ đề trong đó.
- Chuẩn hóa tài liệu mà không chuẩn hóa truy vấn, hoặc ngược lại. Hãy áp dụng cùng cách làm sạch văn bản cho cả hai.