Lượt tìm kiếm đầu tiên nhanh nhưng thô. Reranking dồn thêm năng lực tính toán vào một danh sách ngắn để sắp xếp cho đúng.
Cách hoạt động
Một pipeline hai giai đoạn:
- Truy xuất. Một phương pháp nhanh, như embedding trong vector database, BM25 hoặc hybrid search, trả về top 50 đến 100 ứng viên.
- Rerank. Reranker đọc truy vấn cùng từng ứng viên và cho mỗi cặp một điểm liên quan. Giữ lại top 3 đến 10.
Phần lớn reranker là cross-encoder. Tài liệu Sentence Transformers nói cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (Bản dịch: thường cho hiệu năng vượt trội so với model Sentence Transformer (còn gọi là bi-encoder)) nhưng “Often slower” (Bản dịch: thường chậm hơn) vì “it requires computation for each pair rather than each text.” (Bản dịch: nó cần tính toán cho từng cặp thay vì từng văn bản.) Tài liệu mô tả cross-encoder là “often used to re-rank the top-k results” (Bản dịch: thường được dùng để xếp hạng lại top-k kết quả) từ một bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Cách tiếp cận này có từ ít nhất Nogueira và Cho (2019), những người đã fine-tune BERT làm passage re-ranker và báo cáo mức cải thiện tương đối 27% về MRR@10 so với kết quả tốt nhất trước đó trên MS MARCO passage retrieval.
Cũng có các API rerank được host sẵn. Endpoint rerank của Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (Bản dịch: nhận một truy vấn và một danh sách văn bản, rồi tạo ra một mảng có thứ tự trong đó mỗi văn bản được gán một điểm liên quan) với điểm được chuẩn hóa trong khoảng 0 đến 1 và một trường top_n để giới hạn kết quả.
Vì sao quan trọng
- Chất lượng câu trả lời. LLM chỉ dùng được những gì bạn gửi cho nó. Thứ tự tốt hơn đưa đúng chunk vào prompt.
- Chi phí token. Với một reranker tốt, bạn có thể gửi 3 chunk thay vì 10, giảm token đầu vào ở mỗi câu hỏi.
- Độ trễ. Reranker thêm một bước. Chi phí của nó tăng theo số ứng viên, nên hãy giữ danh sách đó ngắn.
Trên BroadNet Inference
BroadNet không có endpoint rerank hay endpoint embedding. Hãy tự chạy một cross-encoder, chẳng hạn bằng Sentence Transformers, hoặc dùng một API rerank được host, rồi gửi các chunk đứng đầu tới model chat của BroadNet qua Chat Completions API tương thích OpenAI.
Với tài liệu tiếng Ả Rập, hãy kiểm tra reranker của bạn đã được huấn luyện trên dữ liệu tiếng Ả Rập hoặc đa ngôn ngữ chưa; tìm kiếm RAG tiếng Ả Rập trình bày phần còn lại của pipeline. Nếu kho dữ liệu của bạn nhỏ, một model context dài như DeepSeek V4.1 Flash có thể giúp bạn bỏ qua bước truy xuất; xem context dài và RAG.